Está en la página 1de 119

PROCESO DE SELECCIÓN POR CONCURSO DE MÉRITOS ABIERTO

CM-014-19

Realizar una evaluación institucional y de resultados del Programa


Nacional de Casas de Justicia y de los Centros de Convivencia
Ciudadana con el fin de plantear recomendaciones para mejorar el
acceso a los servicios de justicia

Propuesta Técnica – Enfoque Metodológico


UT IPSOS Economía Urbana

Departamento Nacional de Planeación


Bogotá, D.C.
14 de Noviembre de 2019
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tabla de Contenido
I. Objetivo de la Evaluación, Alcance y Productos a Entregar ......................................................... 4
II. Desarrollo Metodológico ............................................................................................................. 5
1. Marco general del PNCJCCC .................................................................................................... 6
1.1. Antecedentes ................................................................................................................... 6
1.2. El PNCJCCC ....................................................................................................................... 8
1.3. La Cadena de Valor del PNCJCCC ..................................................................................... 9
2. Marco General de la Evaluación ............................................................................................ 14
3. Estrategia metodológica para la evaluación institucional ...................................................... 18
3.1. Marco Interpretativo de la evaluación institucional ...................................................... 18
El enfoque de las capacidades institucionales ........................................................................... 18
Estrategia de investigación ........................................................................................................ 22
3.2. Articulación entre preguntas orientadores y el diseño cualitativo ................................ 25
3.3. Estrategia de Sistematización ........................................................................................ 44
4. Estrategia metodológica para la evaluación de resultados .................................................... 48
4.1. Estrategia metodológica para el componente de evaluación resultados ...................... 48
4.2. Estrategia metodológica para la evaluación comportamental ...................................... 68
5. Estrategia para la triangulación de información .................................................................... 92
5.1. Triangulación entre métodos......................................................................................... 93
5.2. Triangulación entre actores involucrados con el PNCJCCC ............................................ 94
5.3. Triangulación entre fuentes de información ................................................................. 94
5.4. Triangulación entre disciplinas de los investigadores .................................................... 95
5.5. La matriz de consistencias y la matriz HCR .................................................................... 95
III. Definición del Trabajo de Campo y Recolección de Información ............................................... 97
1. Diseño Muestral Cualitativo................................................................................................... 97
1.1. Tipología de Muestreo ................................................................................................... 97
1.2. Selección de Unidades Muestrales ................................................................................ 98
2. Retos del trabajo de campo ................................................................................................. 103
2.1. Problemas de orden público ........................................................................................ 104
2.2. Los funcionarios públicos ............................................................................................. 106
2.3. La población usuaria .................................................................................................... 107

Página 2 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

2.4. Población no usuaria de las CJ y CCC ........................................................................... 112


2.5. Consideraciones finales ............................................................................................... 113
Cronograma ..................................................................................................................................... 114
Referencias ...................................................................................................................................... 115

Página 3 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

I. Objetivo de la Evaluación, Alcance y Productos a


Entregar
En cumplimiento a los pliegos de condiciones definitivos el objetivo del presente estudio es realizar
una evaluación institucional y de resultados del Programa Nacional de Casas de Justicia y de los
Centros de Convivencia Ciudadana con el fin de plantear recomendaciones para mejorar el acceso a
los servicios de justicia, lo cual comprende, al menos los siguientes objetivos específicos:

1. Identificar fortalezas y debilidades de la normatividad, del arreglo institucional y de la


articulación entre las entidades involucradas en el diseño y en la operación del
Programa Nacional de Casas de Justicia y Convivencia Ciudadana –PNCJCCC–.
2. Determinar la contribución del PNCJCCC en el mejoramiento del acceso, el uso de los
servicios de justicia y la convivencia ciudadana en los territorios en los que opera
actualmente el programa.
3. Establecer los efectos en términos de confianza, reciprocidad, cooperación y
expectativas normativas relacionadas con normas sociales frente a la solución de
conflictos y uso de violencia del acceso a las casas de justicia (CJ) o centros de
convivencia ciudadana (CCC) en el territorio.
4. Identificar si las líneas estratégicas del PNCJCCC responden a las dinámicas de
conflictividad que se presentan en los territorios.
5. Formular recomendaciones que permitan mejorar el funcionamiento integral del
PNCJCCC para robustecer su sostenibilidad, ejecución e implementación en el territorio
nacional.

Cada uno de los objetivos anteriormente mencionados responderá a las preguntas orientadoras
planteadas para cada uno de los componentes:

• Componente n.° 1. Evaluación Institucional


• Componente n.° 2. Evaluación de Resultados

La evaluación de eficiencia se realizará durante el último mes de 2019 y al menos durante los
primeros ocho meses de 2020 y tendrá una duración de nueve (9) meses. Finalmente, los productos
esperados son cinco:

1. Producto 1: Informe Metodológico.


2. Producto 2: Informe de Prueba Piloto.
3. Producto 3: Informe final de trabajo de campo y primera entrega de la documentación
de las bases de datos de la evaluación.
4. Producto 4: Informe de resultados de la evaluación y segunda entrega de
documentación de las bases de datos de la evaluación.
5. Producto 5: Informe de recomendaciones de la evaluación.

Página 4 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

II. Desarrollo Metodológico


La presente sección desarrolla la propuesta metodológica para responder a los objetivos y
preguntas orientadoras requeridas en el pliego de condiciones de la consultoría que tiene como
objeto realizar una evaluación institucional y de resultados del Programa Nacional de Casas de
Justicia y de los Centros de Convivencia Ciudadana con el fin de plantear recomendaciones para
mejorar el acceso a los servicios de justicia.

La investigación partirá de la aplicación de métodos mixtos (MM) para integrar los hallazgos tanto
cuantitativos y cualitativos. Para llevar a cabo esta aplicación, es necesario conducir la investigación
desde una visión interdisciplinaria para lo cual la Unión Temporal incorporará las visiones de
investigadores con experiencias y conocimientos complementarios. En particular, los métodos
mixtos se justifican no solo por la solicitud implícita de los pliegos de condiciones de hacerlo, sino
porque desde el objetivo de esta evaluación se plantea estudiar el arreglo institucional por una
parte, así como identificar y explicar los resultados esperados en del PNCJCCC, por el otro.

En términos generales, y como será explicado a continuación, la metodología da respuesta de


forma integral a las preguntas orientadoras de la evaluación a través del marco general de la
evaluación, el cual corresponde a la teoría de los sistemas complejos. Desde el punto de vista del
componente institucional, se aborda con el enfoque de desarrollo de las capacidades, el cual
explora para esta evaluación los conceptos de entorno institucional, capacidades y desempeño
organizacional. Asimismo, se plantea para el componente de resultados el desarrollo de la
evaluación de sistemas complejos y la fenomenología de las percepciones, para dilucidar los
resultados del programa los cuales se esperan cuantificar a partir la metodología para la evaluación
comportamental.

Lo anterior partiendo de una premisa fundamental que se exponen de forma explícitamente en los
pliegos de condiciones. El PNCJCCC es el resultado de la gestión institucional adelantada durante
más de 20 años en torno a las iniciativas que se configuraron para responder a la conflictividad y las
necesidades de justicia local con dos modelos de atención diferenciados pero complementarios: las
Casas de Justicia y los Centros de Convivencia Ciudadana

Así las cosas, y tal como lo plantean los pliegos de condiciones, se abordan los pasos a seguir para
responder al objeto general de la consultoría, teniendo en cuenta: i) el marco general del PNCJCCC;
ii) la estrategia metodológica para la evaluación institucional; iii) la estrategia metodológica para la
evaluación de resultados (que contienen la estrategia metodológica para evaluación
comportamental) y; v) la estrategia para la triangulación de la información.

Página 5 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

1. Marco general del PNCJCCC

1.1. Antecedentes

El Programa Nacional de Casas de Justicia nace 1995 en el marco de una alianza entre el Gobierno
Nacional y la Agencia de los Estados Unidos para el Desarrollo Internacional, que presenta un
modelo de concentración de oferta de servicios de justicia para el beneficio de comunidades
apartadas y de alta conflictividad en las principales ciudades de Colombia.

En aquella época, el concepto de Casa de Justicia (CJ) fue muy bien recibido, puesto que se sumaba
a una serie de iniciativas que se estaban implementando para acercar los ciudadanos a la justicia y
promover los mecanismos alternativos de solución de conflictos que habían sido promovidos por la
Constitución Política de 1991 y que fueron instrumentalizados por la Ley 23 de 1991, para
descongestionar el aparato de justicia.

La primera CJ se construyó en la ciudad de Bogotá D.C. (Casa de Justicia de Ciudad Bolívar), y para
su entrada en funcionamiento se suscribió un convenio interadministrativo nacional, en el que
participaron las siguientes instituciones: la Fiscalía General de la Nación; la Procuraduría General de
la Nación; el Instituto Colombiano de Bienestar Familiar; el Instituto Nacional de Medicina Legal y
Ciencias Forenses; la Defensoría del Pueblo; la Superintendencia de Notariado y Registro; la
Fundación FES (implementadora de los recursos de USAID); y, el Ministerio de Justicia y del
Derecho.

El Convenio tuvo como objetivo garantizar el acceso a la ciudadanía a la justicia, integrar las
instituciones de orden nacional y distrital que ofrecerían servicios en la nueva infraestructura física.
Asimismo se determinaron obligaciones por parte de las entidades, especialmente en lo
relacionado con la designación permanente de servidores públicos, y la posibilidad de que estas
entidades pudieran definir la dotación que requerían para la prestación de los servicios.

Quizá el punto más importante del convenio es que trajo consigo la definición de un programa
institucional que se basa en la suma de esfuerzos de las entidades nacionales que han de
concentrar sus servicios jurídico-interinstitucionales en dicha Casas de Justicia, y los suma con la
oferta local dispuesta en servidores tales como, Inspectores Municipales y Comisarios de Familia;
así como de los Notarios, los Jueces de Paz (creados por la Constitución Política), los Centros de
Conciliación y Arbitraje, los Conciliadores en Equidad y los Consultorios Jurídicos de las Facultades
de Derecho de las Universidades.

La iniciativa definió como mecanismo de trabajo, la suscripción de acuerdos locales con las alcaldías
municipales y distritales que estuviesen interesadas en el modelo de Casas de Justicia, asignándoles
la responsabilidad de disponer a cualquier título, de espacio físico para el desarrollo del programa.

En igual sentido, se sentaron los componentes generales del programa que incluye los siguientes
propósitos respecto de los ciudadanos beneficiarios: a) Información y educación a los ciudadanos
acerca de sus derechos y los mecanismos de protección de estos y acerca de las autoridades e

Página 6 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

instrumentos existentes para su defensa; b) Ilustración sobre las obligaciones que la Constitución y
las Leyes demandan de los ciudadanos; c) Orientación y asesoría en situaciones de conflicto entre
ciudadanos o en sus relaciones con el Estado y d) Servicios a cargo de las entidades partícipes de la
Casa, quienes atenderían a la comunidad conforme a sus funciones constitucionales y legales y
trabajarían por la consolidación de una cultura de la convivencia pacífica y de respeto al derecho
ajeno.

A partir de allí se inició una fase de expansión en términos de cobertura en el territorio nacional,
materializado en la construcción y puesta en funcionamiento de CJ en las principales ciudades
capitales del país, así como en otros municipios que se habían interesado en el modelo y en los
beneficios que estas traen para las comunidades.

El año 2000, fue un año crucial para las CJ, en virtud de la expedición por parte del Gobierno
Nacional del Decreto 1477 de 2000, que adopta formalmente el Programa Nacional de Casas de
Justicia. En dicho Decreto se definen las CJ; se delinean los objetivos del programa y se relacionan
los servicios que deben prestarse. Asimismo, se vinculan las entidades que deben hacer parte de las
CJ, se definen sus obligaciones y se asignan unas competencias al Ministerio de Justicia y del
Derecho (MJD) como coordinador. Posteriormente, el 29 de julio de 2005, se suscribe un nuevo
Convenio Nacional para la Puesta en Marcha del Programa Nacional de Casas de Justicia, como
quiera que, si bien la vinculación de las entidades se había formalizado en el mencionado Decreto,
muchas de ellas no estaban haciendo presencia en las CJ y, por ende, se consideró oportuno la
suscripción de un nuevo acuerdo de voluntades que ratificara lo ya señalado en la normatividad.

Por último, con la escisión del Viceministerio de Justicia del antiguo Ministerio del Interior y de
Justicia, así como con la creación del Ministerio de Justicia y del Derecho y la creación de la
Dirección de Métodos Alternativos de Solución de Conflictos de en dicha entidad, el Decreto 2897
de 2011, modificado por el Decreto 1427 de 2017, asignó precisas funciones relacionadas con la
coordinación del Programa, entre las cuales se encuentran:

“1. Formular, coordinar, divulgar y fomentar políticas públicas para aumentar los niveles de acceso a
la justicia, a través de los mecanismos alternativos de solución de conflictos y de modelos de
implementación regional y local.
(…)
5. Promover el acceso a la justicia para los grupos minoritarios y vulnerables.
(…)
16. Apoyar en el diseño, coordinación, divulgación y fomento de la política pública en materia de
acceso a la justicia a través del Programa Nacional de Casas de Justicia y del Programa Nacional de
Centros de Convivencia Ciudadana, en coordinación con las entidades competentes.
17. Coordinar y articular la oferta de servicios de Métodos Alternativos de Solución de Conflictos y el
modelo de acceso a nivel local y regional.”

Así, el panorama actual del Programa incluye su fusión, de facto, con el Programa Nacional de
Centros de Convivencia Ciudadana, con el que comparte su misión de fortalecer el acceso a la
justicia de las comunidades más vulnerables y apartadas del territorio nacional. Lo anterior, si bien
ha generado un avance en su cobertura, ha desdibujado de alguna manera el propósito inicial de

Página 7 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

concentrar los servicios de justicia de las entidades nacionales y locales en beneficio del ciudadano.
Esto, en virtud de que los Centros de Convivencia Ciudadana (CCC) promueven la convivencia y el
desarrollo comunitario a través de programas locales de prevención, y no de orientación, atención,
referenciación y solución de conflictos como si lo hacen las CJ.

1.2. El PNCJCCC

El PNCJCCC (Programa Nacional de Casas de Justicia y Centros de Convivencia Ciudadana) tiene


como propósito contribuir al acceso eficiente y oportuno a la justicia en el territorio, por medio de
la articulación horizontal y vertical de la oferta de operadores y servicios de i.) Justicia Formal, ii.)
Justicia Formal Administrativa, iii.) Justicia Alternativa y, iv.) Justicia Propia.

Esta articulación se da a través de dos acciones principalmente:

a. Concentración: El programa asesora, promueve, gestiona y cofinancia la implementación de


centros interinstitucionales (CJ o CCC) en municipios que, por su conflictividad local, presencia
de población en situación de vulnerabilidad e incidencia directa de barreras de acceso a la
justicia, requieren de mecanismos para acercar la justicia al ciudadano.

Estos centros interinstitucionales buscan la concentración de la oferta en un mismo espacio,


para que sea más fácil el acceso del ciudadano a todos los servicios del Estado en materia de
justicia.

b. Especialización: El programa gestiona con los operadores de justicia, modelos de atención que
respondan a las particularidades y necesidades del territorio, con el propósito de articular la
justicia formal y la justicia alternativa, promover soluciones pacíficas a los conflictos a través del
uso de mecanismos alternativos, y aumentar la capacidad de respuesta de la justicia local.

Las acciones descritas anteriormente, se dan en función de lo señalado en el Decreto 1069 de


2015, que expresamente señala:

“Artículo 2.2.4.1.2 Objetivos y funciones especificas. El Programa Nacional de las Casas de Justicia
tendrá los siguientes objetivos y funciones:

1. Crear espacios de acción integral en materia de justicia comunitaria y justicia no formal.


2. Acercar la prestación de ciertos servicios de justicia formal a la comunidad con el fin de facilitar su
acceso.
3. Ampliar la cobertura de la administración de justicia.
4. Involucrar a la comunidad en la resolución formal y no formal de los conflictos.
5. Fomentar una cultura de convivencia pacífica y de respeto al derecho ajeno.
6. Propiciar la participación efectiva de la comunidad en el diagnóstico y solución de los problemas en
materia de administración de justicia.
7. Establecer espacios de participación y pedagogía ciudadana que contribuyan a la construcción de
una convivencia pacífica.
8. Implementar metodologías para el uso y la difusión de los mecanismos alternativos de solución de
conflictos.
9. Ser instrumento para la articulación de las políticas de justicia del Estado, con los programas de
desarrollo comunitario.

Página 8 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

10. Promover la defensa de los derechos humanos de los miembros de la comunidad.


11. Asesorar y orientar a la comunidad en el uso del servicio público de la justicia.
12. Orientar jurídicamente a la comunidad en sus derechos y obligaciones.
13. Desarrollar programas de prevención en violencia intrafamiliar y protección de los derechos
humanos.
14. Servir de espacio para el análisis de la conflictividad social, por parte de investigadores avalados
por el Ministerio de Justicia y del Derecho.”

Para cumplir algunas de las funciones descritas anteriormente, el PNCJCCC dispone de varias
herramientas. La primera es de origen normativo y tiene que ver con el alcance de las funciones
recientemente enunciadas, la segunda es una cartilla en la que el MJD traza unas líneas de trabajo,
y la tercera es una guía en la que se conceptualizan las CJ y los CCC, se describen los componentes
esenciales de su operación diaria y se presentan los lineamientos para la implementación del
programa, así como el paso a paso que debe atender la entidad territorial que se encuentre
interesada.

Finalmente, es importante notar que el PNCJCCC cuenta con 152 puntos en la actualidad, los cuales
están distribuidos en 110 CJ y 42 CCC, ubicados en 132 municipios de 30 departamentos del país,
que atienden un promedio de 250 mil personas por año1.

1.3. La Cadena de Valor del PNCJCCC

Para el alcance de los objetivos de la evaluación es fundamental definir el modelo lógico de


intervención. Para esto, es necesario avanzar en un marco conceptual a partir de la definición del
alcance del Programa y de cada una de sus líneas de acción. Esta construcción se hará bajo una
herramienta de entendimiento común como lo es la cadena de valor, concepto aplicado
inicialmente a la industria (Porter, 1985; Sakhuja, 2012), pero adaptable completamente a una
política pública. En particular, aplicado a una operación de provisión de bienes o servicios públicos
resulta ser una importante herramienta que permite entender la estructura y la lógica de la
intervención e identificar las posibles debilidades, pero también los factores de éxito de una
estrategia, proyecto, programa o política.

Así, el análisis se basa en la esquematización para caracterizar una intervención por fases y etapas.
En particular, se podría afirmar que una intervención típicamente se divide en dos fases: la
implementación y los efectos. La fase de "implementación" incluye etapas tales como “insumos,
procesos y productos – y/o entrega de bienes o servicios”. Por su parte, la fase de "efectos" se
ocupa de los cambios que se esperan de una intervención (resultados e impactos). Tal es el caso de
la presente evaluación con sus diferentes líneas de acción.

La cadena de valor del PNCJCCC describe específicamente los elementos que juegan un rol clave en
la definición de las etapas, abarcando cada uno de los eslabones de la cadena de valor de tal
manera que se podrán identificar cada uno de los aspectos a evaluar y la articulación institucional
con el avance en los resultados. Esto es importante porque, si bien existe una teoría de cambio (i.e.

1 Datos a junio de 2019 tomados de http://www.casasdejusticia.gov.co/.

Página 9 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

hipótesis de la intervención), el vínculo entre los productos y los resultados a corto plazo sigue
siendo una cuestión empírica.

En primera instancia, en la parte de insumos, se tiene en cuenta el marco normativo del Programa,
en el que se encuentra la Constitución Política de Colombia, el Plan Nacional de Desarrollo 2018-
2022, el Decreto 1477 de 2000, el Decreto 2897 de 2011 entre otros. Igualmente, se establecen los
recursos financieros, físicos y humanos que intervienen. Seguido, se encuentran los procesos que
son desagregados del proceso operativo que tiene lugar dentro de las líneas de acción del PNCJCCC
en Derechos Humanos, Enfoque Étnico, Fortalecimiento Institucional, Prevención de Violencia,
Justicia Móvil y Métodos Alternativos de Resolución de Conflictos, señalando las actividades
principales en cada una de estas. Una vez realizadas en conjunto estas actividades, se reflejan
aquellos bienes o servicios que son entregados por el implementador, es decir, los productos. En el
caso particular del PNCJCCC el servicio principal entregado es la atención integral para el acceso a la
justicia formal, no formal y a la resolución de conflictos para convivencia pacífica.

Por su parte, los resultados tienen en cuenta los cambios posibles que se dan en el corto o mediano
plazo como lo son la descentralización de servicios para el acceso a la justicia formal y no formal,
una justicia más acorde con la diversidad cultural y el contexto socio-jurídico colombiano, el
mejoramiento de las relaciones interpersonales y el reconocimiento, apropiación y promoción del
buen trato en las familias y los MASC. Asimismo, se darían los impactos, en este caso la generación
de confianza, reciprocidad, cooperación, apropiación de la norma social, la disminución de la
propensión al conflicto y la descongestión del Sistema Judicial y despachos judiciales, que tienen
lugar en el largo plazo (Ver Figura II-1).

El análisis permite identificar que en relación con los procesos, se evidencia un punto de partida,
que es la implementación de las CJ o del CCC, a través del cual se realizan actividades para la
presentación, estudio y evaluación de la solicitud del municipio o Distrito para ingresar al Programa.
De allí se desprende el producto inicial necesario para la ejecución del Programa, como lo es la
infraestructura física para la CJ o el CCC, la vinculación del personal capacitado y la puesta en
marcha. No obstante, es relevante indagar si las entidades territoriales realizan este proceso de
acuerdo con la Guía de implementación, es decir, de manera previa al funcionamiento de la CJ o
CCC o si por el contrario, presentan la solicitud para ingresar al Programa, estando en
funcionamiento. Lo anterior, con el fin de determinar las implicaciones de este proceso en la
implementación y por lo tanto, su alcance en los resultados.

El Programa cuenta con estrategias transversales para el cubrimiento, la coordinación, la


capacitación, la comunicación y la participación. Estas estrategias, se ven reflejadas en los procesos
y actividades que han sido identificados dentro de cada línea estratégica y/o de acción (Derechos
Humanos, Enfoque Étnico, Fortalecimiento Institucional, Prevención de violencia, Justicia móvil y
Métodos Alternativos de Resolución de Conflictos) y que a su vez, dicha implementación genera los
productos que se presentan en la Figura II-1, con lo que se esperaría que se evidencie lo siguiente:

• Los espacios destinados para las CJ y los CCC corresponden a lo solicitado por la Guía de
implementación y permiten la presencia de las entidades e instituciones requeridas.

Página 10 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

• Los espacios destinados para las CJ y los CCC trascienden la estructura física y cuentan con
la capacidad institucional para responder a las necesidades de conflictividad de los
municipios.
• Las líneas estratégicas se encuentran planificadas y cubiertas para su implementación
efectiva, es decir:
o Existe una asignación de funcionarios de las entidades que hacen presencia en las
CJ o CCC de tal manera que puedan brindar los servicios de forma permanente.
o Existe una estrategia de articulación interinstitucional para brindar respuestas
integrales a las necesidades de la ciudadanía.
o Existe un plan para la sostenibilidad de CJ o CCC que abarca los recursos financieros
y humanos requeridos para la correcta implementación del Programa.
o Existen unas condiciones de infraestructura adecuadas para el desarrollo de la
jornada.
o Existen estrategias de seguimientos de los casos y de cierre cuando se responde a
la necesidad del ciudadano.
o Existen los documentos y protocolos institucionales donde se reflejan las rutas de
atención, así como los informes de la implementación del programa.
o Se da una capacitación constante de funcionarios y operadores en MASC.
o Existen procesos de formación dirigidos a la comunidad sobre sus derechos y los
servicios que ofrecen las CJ o CCC.
o Se desarrollan jornadas móviles en lugares con barreras geográficas y/o sociales
que dificultan el acceso de los ciudadanos a las ofertas de servicios.
o Existen programas de participación dirigidos a ciudadanía en los que se reconoce
como sujetos activos de la convivencia y el trámite pacífico de conflictos.
• Los sistemas de información se implementan de manera efectiva, es decir:
o Cuando se da apertura a la CJ o al CCC se brindan las garantías e infraestructura
requerida para el uso de los sistemas de información.
o Se cuenta con un inventario de sistemas de información y sus variables, así como
estrategias de interoperatividad.
o Se cuentan variables para el seguimiento de casos como cifras acerca del número
de visitas que son requeridas para solucionar conflictos, entre otras.
• Finalmente, existen un seguimiento y acompañamiento de parte de la coordinación del
Programa.

Se esperaría entonces que si se observan estas evidencias de los productos, los resultados de la
implementación del PNCJCCC, tal y como se señalan en la Figura II-1, se darían las condiciones
necesarias para una teoría de cambio en donde se pueda asegurar una justicia más acorde con la
diversidad cultural y el contexto socio-jurídico colombiano, centrada en la realidad local. Asimismo,
se encontraría una mejoría en las relaciones interpersonales asociadas al conocimiento e
implementación de Métodos Alternativos de Resolución de Conflictos- MASC y la disminución de
barreras de acceso a la justicia formal y no formal, con las que cuentan las poblaciones más
vulnerables.

Teniendo en cuenta que han transcurrido 23 años desde la implementación de la primera CJ y 15


años de los CCC, se esperaría que los resultados y con esto, los impactos de acceso efectivo a la
justicia los niveles de empoderamiento legal, goce efectivo de derechos y convivencia pacífica de

Página 11 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

los ciudadanos, puedan ser evidenciados en un cambio de los indicadores que se quieren medir a
través de los experimentos, esto es en indicadores asociados a la confianza, reciprocidad,
cooperación y expectativas normativas relacionadas con normas sociales2.

Por su parte, parte del análisis de la implementación PNCJCCC en un esquema de teoría de cambio,
también es posible afirmar que la articulación armónica de entidades de orden nacional, municipal
y social que cuentan con misionalidad social y de acceso a la justicia, facilita el empoderamiento y el
acceso ciudadano a la oferta de servicios, al estar concentrados en un solo lugar. En ese punto, es
importante explorar preguntas relacionadas con si la oferta de servicios corresponde con las
necesidades del diagnóstico de conflictividad y los motivos de consulta de los ciudadanos que se
acercan a las CJ o CCC.

Una reflexión final en relación con la implementación del PNCJCCC es que el Programa llama la
atención sobre su enfoque territorial y local en la articulación de la oferta institucional, y que al final
esto es un factor clave que determina la teoría de cambio. El acceso a las rutas de atención y
prevención en materia de acceso a la justicia de manera integral solo podrá lograr los impactos
esperados en términos de descongestión del Sistema Judicial y de disminución de barreras de
acceso, si la oferta de servicios y con esto, las respuestas que se brindan, corresponden a las
necesidades específicas de la ciudadanía, basadas en el seguimiento de casos, efectividad de la
oferta y en el estudio de variables que proporcionan los sistemas de información. Esto,
principalmente desde una perspectiva institucional y de resultados. Es decir, la teoría del cambio
parte de que la apropiación de métodos pacíficos de resolución de conflictos, la deconstrucción
social de la justificación de la violencia, la promoción nuevos comportamientos y actitudes dirigidas
a la convivencia son los que permitirán cumplir los objetivos previstos, en este caso, los objetivos
plasmados en el Programa.

En este sentido, es clave tener en cuenta las lecciones aprendidas y los cuellos de botella frente a la
apropiación y aplicación de los métodos pacíficos de resolución de conflictos y el reconocimiento de
la ciudadanía de la oferta de las CJ y los CCC. Por ejemplo, cuáles son las mayores dificultades para
brindar atención integral a la ciudadanía, cómo se enteró el ciudadano de la oferta de las CJ y CCC,
si está siendo posible disminuir las barreras de acceso, si se están atendiendo necesidades
específicas de la ciudadanía a través de la implementación de justicia formal y no formal, entre
otros.

2 En el componente de experimentos se hablará de un indicador más que es el de propensión al conflicto.

Página 12 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Insumos Procesos Productos Efectos


Normatividad Implementación • Vinculación de personal requerido y capacitado. Resultados
• Constitución Política de • Recepción y estudio de la Solicitud. • Apertura de Nueva CJ o CCC en el municipio. • Justicia acorde con el contexto
1991 (Art 113 a 229). • Convenios para construcción y operación. Espacios de participación jurídico y social colombiano.
• Decreto 1477 de 2000. • Inducción al personal. • Servicios de atención integral. • Relación institución -
• Convenio Nacional de 2005. Derechos Humanos • Atención de entidades en Derechos Humanos. Comunidad.
• Decreto 2897 de 2011. • Reclamo, promoción y reconocimiento de Derechos. • Oferta en materia de Derechos Humanos. • Resolución pacífica de
• Decreto 1069 de 2015. • Reconstrucción del tejido social. • Formación en Derechos Humanos, participación y conflictos.
• Decreto 4727 de 2017. • Información obligaciones legales (Énfasis Familia/NNA) . convivencia pacífica. • Aporte al Plan Decenal PDSJ.
• PND 2018-2022. • Tareas CJ y CCC en Derechos Humanos. • CJ: Servicios para la denuncia y de investigación penal. • Programas deportivos y
Componente étnico: • CCC: Biblioteca y oferta deportiva, cultural y de cuidado del culturales.
• Promueve prácticas de control social y resolución de conflictos. medio ambiente. • Metodologías pedagógicas
Recursos Financieros
• Formación operadores en enfoque étnico. para la construcción de una
• Presupuesto General de la Servicios de atención integral con enfoque étnico
• Identifica violaciones a los mínimos jurídicos. convivencia pacifica.
Nación. • Servicios de atención integral.
• Tareas CJ y CCC con enfoque étnico. • Relaciones interpersonales.
• Lotes del Distrito • Resolución pacífica de conflictos. • Garantía de derechos
/municipio. Fortalecimiento institucional • Empoderamiento de grupos étnicos.
• Sostenimiento y mantenimiento CJ o CCC. humanos.
• Proyectos de inversión • Estrategias de incorporación de enfoque étnico y oferta
• Desarrollo social del Distrito o
locales o nacionales. • Implementación del SICJCCC social con enfoque étnico.
• Formación y capacitación a funcionarios. municipios.
• Convenio de cooperación Documentos institucionales
• Oferta institucional y traslados. • Acceso a la justicia en un solo
interinstitucional para la • Datos del SICJCCC. lugar.
cofinanciación de la
Prevención y atención de violencias a NNA. • Sostenibilidad de procesos y recursos del Programa. • Confianza y construcción de
construcción de la CJ o del • Atención a NNA. Servicios de atención integral NNA. ciudadanías.
CCC.
• Identificación y prevención de vulneraciones. • Atención de entidades asociadas a la protección de NNA. • Buen Trato en las familias.
• Cooperación Internacional. • Tareas de CJ y CCC en materia de NNA. • Oferta en materia de derechos de NNA. • Familiarización con los MASC.
Prevención y atención de violencias contra la mujer y familia. • CJ: Restitución de derechos. • Respuestas en materia de
Recursos físicos • Atención a mujeres y familias. acceso a la justicia y
• Construcción de Servicios de atención integral mujeres y familia.
• Identificación y prevención de vulneraciones. promoción de la convivencia
• Atención de entidades asociadas a derechos de mujeres
infraestructura. • Difusión y promoción de los derechos. acordes con la realidad local.
• Dotación de muebles y • Oferta en materia de derechos de las mujeres.
• Tareas CJ y CCC para la mujer y la familia. • CJ: Aplicación de medidas de protección.
enseres. Impactos
Justicia y convivencia ciudadana móviles • CCC: Acceso a programas sociales del municipio. • Mejoramiento de la convivencia
• Equipos de cómputo.
• Tecnología. • Desconcentración de servicios y cubrimiento en lugares con Presencia institucional. pacífica.
barreras de acceso a la justicia. • Jornadas móviles. • Acceso a la justicia.
Recursos Humanos • Articulación con otras estrategias o servicios. • Acciones locales para la gestión de conflictos comunitarios. • Descongestión del Sistema
• De orden Nacional. • Gestión de conflictos comunitarios. • Talleres y encuentros en torno a la oferta de las CJ y/o CCC. Judicial y despachos judiciales.
• De orden Local Mecanismos Alternativos de Solución de Conflictos MASC. • Confianza, reciprocidad,
• Otros como consultorios/ • Formas de resolución de conflictos, del sistema judicial y uso de Trámite pacífico de conflictos. cooperación, apropiación
Universidades y la ciudadanía MASC. Acceso a la justicia y servicios alternativos al Sistema Judicial. norma social y disminución de
en general. • Trámite de conflictos. Estrategias y proyectos. la propensión al conflicto .

Figura II-1 – Cadena de Valor del PNCJCCC


Fuente: Elaboración propia (2019).

Página 13 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

2. Marco General de la Evaluación


De acuerdo a Garandeau (2009), varios académicos remarcan la importancia de una nueva área de
investigación está emergiendo. Si bien no está definida como una ciencia formal, estos académicos
la definen como una nueva forma de ver el mundo, la cual diferentes ideas y principios del que
hacen parte un conglomerado de conocimiento interdisciplinario acerca de la estructura, el
comportamiento y las dinámicas que se dan en sistemas (o intervenciones) complejas (Ramalingam
et al., 2008; Snowden et al., 2007). Esto es, en otras palabras, sistemas complejos, dinámicos,
adaptativos y en constante cambio.

Las principales características de estos sistemas son resumidas por Garandeau (2009). A
continuación, se presentan las similitudes de estos sistemas con el PNCJCCC, los servicios que
entrega, y sus interrelaciones con los actores involucrados, los cuales permitirán definir el enfoque
metodológico de la evaluación institucional y de resultados.

Tabla II-1 - Relación entre sistemas complejos y el PNCJCCC


Características de un sistema complejo (después Similitudes con el PNCJCCC
de Snowden et al., 2007)
Los sistemas complejos involucran un gran número El PNCJCCC involucra a numerosos actores los cuales se
de interrelaciones. agrupan en las CJ y los CCC y que vienen de diferentes
niveles de interacción (nacional, departamental,
municipal). Asimismo, cada uno de los actores en el
nivel local, son influenciados por factores políticos,
sociales, legales, técnicos, ambientales, financieros y
económicos.
Las interacciones no son lineales, donde cambios En el PNCJCCC tanto los factores como los actores
menores pueden producir consecuencias involucrados están interrelacionados entre sí. Si uno
importantes más que proporcionales. cambia, es posible que se afecte el comportamiento de
muchos otros. Asimismo, las dinámicas de
conflictividad son diferentes en cada uno de los
territorios.
Los sistemas complejos son dinámicos y por esto no Los gobiernos locales, la comunidad, las condiciones
es fácil imponer soluciones, al contrario, estas surgen políticas, la economía (el mercado) nacional y local son
de las circunstancias. Esto se conoce con frecuencia sistemas dinámicos. En este caso, si uno cambia en su
como emergencia (acción o efecto de emerger). comportamiento, los otros tienen que adaptarse.
El sistema tiene una historia y el pasado está Los actores involucrados están afectados por sus
integrado con el presente. Los elementos diferentes factores sociales, económicos, políticos y
evolucionan entre sí y con el entorno. culturales; factores que evolucionan de forma conjunta
y que tienen consecuencias en los resultados del
PNCJCCC.
Los sistemas complejos son impredecibles porque las Debido a los diferentes factores involucrados y su
condiciones externas y el sistema cambian constante cambio, así como los posibles problemas de
constantemente. adherencia a la intervención, los resultados del
PNCJCCC son inciertos.
En un sistema complejo, los agentes y el sistema se Dados los diferentes sistemas de gobernanza (nación,
limitan entre sí, especialmente a lo largo del tiempo, departamento, municipio, CJ y CCC), el PNCJCCC
y el futuro no puede predecirse. encuentra diferentes restricciones para presentar una
oferta uniforme.
Fuente: Adaptado de Garandeau (2009).

Página 14 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

La anterior comparación sugiere que el PNCJCCC puede ser analizado bajo un esquema de sistemas
complejos. Sus numerosos actores y los diferentes factores influyentes están interrelacionados e
interconectados y a su vez son dinámicos, cambiando constantemente y adaptándose a las
diferentes dinámicas de conflictividad, y a los momentos y circunstancias, en un esfuerzo por
recuperar atender una situación social.

En este caso, es posible que los diferentes eslabones de la cadena de valor que son de interés tanto
para el componente de la evaluación de procesos como el de resultados, sean influenciados positiva
o negativamente de acuerdo a los actores presentes y las diferentes dinámicas de conflictividad, y
por las decisiones que pueden tomar uno o más actores que hacen parte del sistema. Esto, dado
que, los sistemas se basan en relaciones bidireccionales que pueden afectar los demás actores, y
por lo tanto, son estos capaces de crear círculos virtuosos o viciosos conocidos como causalidad
recursiva (Rogers, 2008). En últimas, la hipótesis que surge es que estos agentes adaptativos y sus
constantes cambios, hacen que tanto el arreglo institucional como los resultados del PNCJCCC
tengan un gran componente de incertidumbre. Así, el enfoque de intervenciones complejas
imprime en esta evaluación una forma más profunda de ver la teoría de cambio del programa,
alejándose de los paradigmas lineales de causalidad o de las configuraciones de Contexto-
Mecanismo-Resultado de la evaluación realista (Ramalingam et al., 2008).

En este punto es importante mencionar, que de acuerdo al alcance dado por el DNP a la evaluación,
tanto en el componente de la evaluación institucional como en el de la evaluación de resultados, no
es suficiente saber si el PNCJCCC funciona o no, sino que es necesario establecer con información
cuantitativa y cualitativa, primaria y secundaria, dónde y cuándo funciona, cómo y por qué
funciona, y sobre todo, cómo se mantienen si es que existen buenos resultados y a su vez, cómo
mejorar estos resultados o potenciarlos donde existe margen de maniobra.

Ahora bien, los enfoques de evaluación basados en la teoría o realistas (evaluación realista) podrían
brindar información sobre qué tipo de intervención puede funcionar en qué contexto. No obstante,
estos presentan algunas limitaciones dado que se basan en paradigmas sistémicos. En otras
palabras, estos conciben las intervenciones como cadenas simples o múltiples de pasos y factores
unidos entre sí por sus causas y efectos. En contraste, como se argumenta a lo largo del enfoque
metodológico, el PNCJCCC puede definirse como un sistema complejo, en el que se toman en
cuenta las dinámicas de conflictividad así como cada uno de los factores y las partes que
interesadas, y por ende, se profundiza en las interrelaciones, las cuales pueden limitar o adaptar
otros actores constantemente, generando cierto grado de incertidumbre sobre los resultados. Esto,
para tener en cuenta otro factor, y es las dinámicas políticas, sociales, legales, técnicas,
ambientales, financieras y económicas que se dan antes y durante la creación de una CJ o CCC. En
otras palabras, en una evaluación de una intervención compleja como la del PNCJCCC, no válido del
todo, utilizar un enfoque metodológico de paradigmas causales sistémicos, porque de plantearse,
se dejarían por fuera del objeto de estudio otros factores claves que pueden determinar tanto la
orientación de los procesos, como el logro de los resultados.

Página 15 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

En este punto, se reconoce que las teorías que emerjan del PNCJCCC, por detalladas y flexibles que
sean, no pueden generar en todos los casos medidas de desempeño que puedan usarse
homogéneamente para elaborar recomendaciones que tengan como objetivo modificar la
implementación y mejorar el desempeño del Programa. Así, en un paradigma de la complejidad, la
intervención y sus efectos dependen de numerosos factores y de cómo las partes interesadas
interrelacionadas, pueden cambiar y adaptarse constantemente. Por lo tanto, las intervenciones
complejas si bien pueden tener una intención definida con su teoría de cambio, los efectos no se
producen sistemáticamente. Además, es importante atender a Rogers (2008), quien afirma que los
indicadores reflexivos (que son afectados por otras variables, (Freeze, R. D., & Raschke, R. L., 2007;
Medina, 2013)) deben usarse cuidadosamente en este tipo de intervenciones. Por lo anterior, es
imperante proponer metodologías novedosas para responder tanto al componente de la evaluación
institucional como al de resultados.

El enfoque anterior puede verse gráficamente en la Figura II-2. En este, emergen varias esferas las
cuales se explican a continuación. En primer lugar, en un esquema lineal de cadena de valor y
entendiendo que la intervención se produce de forma sistemática en diferentes configuraciones de
Contexto-Mecanismo-Resultado (CMR), la intervención puede controlar sus insumos, procesos y
productos que se entregan a la población, en este caso servicios que reciben los usuarios de una CJ
o un CCC (esfera del control del PNCJCCC).

Figura II-2 - Esferas de control, influencia e interés del PNCJCCC en un sistema complejo

Fuente: Adaptado de Garandeau (2009).

En segundo lugar, se espera que la entrega de este servicio pueda facilitar, entre otros, un acceso
efectivo los servicios de justicia. Esta es la esfera de influencia del PNCJCCC. No obstante, en la
figura también se resalta cómo los vínculos entre estos diferentes actores de la intervención
pueden ser generadores de incertidumbre dado que las flechas bidireccionales, indican que los

Página 16 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

insumos, los procesos y los productos pueden ser influenciados por los demás actores que entran
en el sistema y los diferentes contextos en el que este opera, pero que no hacen parte de la esfera
de control del PNCJCCC.

Finalmente, si los resultados se dan de manera recurrente, se espera su contribución para la


generación de impactos. En este punto, son las dinámicas de conflictividad las que están presentes
en la esfera de interés del PNCJCCC. Es importante resaltar, que a medida que la intervención se
aleja del área de control, su poder de influencia decrece. En sentido opuesto, a medida que esta se
acerca al área de interés, son los actores involucrados y los beneficiarios quienes incrementan su
poder de influencia.

Así, el PNCJCCC encaja particularmente bien en la ilustración anterior del paradigma de las
intervenciones de complejidad, son múltiples los actores que entran en el PNCJCCC a lo largo de los
diferentes procesos.

En este caso, la UT Ipsos-Economía Urbana considera que la evaluación del PNCJCCC debe ampliar
su espectro de estudio y reconocer que las dinámicas de conflictividad y el arreglo institucional para
la operación de las CJ y CCC no se basan exclusivamente sobre teorías de cambio lineales o que se
alimentan de las configuraciones CMR sistémicas, sino que esta se basa en un esquema de
intervenciones complejas para establecer los vínculos entre los diversos componentes de la
intervención. A continuación, un paralelo que justifica este planteamiento:

Tabla II-2 - Diferencias entre evaluaciones basadas en evidencia, evaluación realista y


evaluaciones complejas
Evaluaciones basadas Evaluaciones Evaluaciones
en evidencia realistas complejas
Paradigma de las Las intervenciones se Las intervenciones Las intervenciones son
intervenciones de basan en una teoría de pueden ser sistemas adaptativos
desarrollo cambio fija consideradas como
cajas negras a explorar
Insumos - Procesos – Contexto + Mecanismo Los resultados
Productos - Resultados = Resultados contienen un gran
Impactos contenido de
incertidumbre
Tipo de Causalidad Relaciones Relaciones Relaciones
unidireccionales y de una unidireccionales y de bidireccionales y de
sola causa y efecto múltiples causas y múltiples causas y
efectos efectos
Objetivos de las Medición de efectos Investigando cajas Explorar la complejidad
Evaluaciones negras (ej. prueba de y generar
teorías) recomendaciones
acordes a ella
Teoría detrás de las No hay uso de la teoría de Uso de teorías sobre lo El punto de partida es
intervenciones y su políticas, sino el uso de que sucede en las cajas que una políticas es
evaluación supuestos e hipótesis de negras dinámica, adaptativa e
casualidad (del marco interactiva
lógico)
Fuente: Adaptado de Garandeau (2009).

Página 17 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

3. Estrategia metodológica para la evaluación institucional

3.1. Marco Interpretativo de la evaluación institucional

El enfoque de las capacidades institucionales

El marco interpretativo del componente institucional de la evaluación está basado en el enfoque de


desarrollo de las capacidades. Esta forma de plantear los problemas y de evaluar las intervenciones
sociales ha venido utilizándose con provecho por parte de organismos internacionales como el
PNUD y otras entidades involucradas en el discurso y en las prácticas del desarrollo humano3. Hay
que advertir desde un inicio que, más que un cuerpo teórico acabado, este enfoque ha sido
desarrollado en diálogo con los problemas concretos de la implementación de las intervenciones, el
conocimiento y los aprendizajes acumulados de los gestores del desarrollo. En tanto que tal, puede
decirse que consta sobre todo de lineamientos orientados a la gestión, diagnóstico y evaluación de
las intervenciones.

En síntesis, este enfoque plantea que el desarrollo, más allá de la generación y acumulación de
riqueza material, es un proceso centrado en las personas, sus vínculos mutuos, las organizaciones e
instituciones que construyen para alcanzar sus fines. Bajo esta nueva manera de ver las cosas los
fines de los individuos, las organizaciones y las sociedades ya no pueden derivarse únicamente de
una definición universal del bien o de indicadores agregados como el PIB, sino que hay que
entenderlos (y evaluarlos) en su debido contexto: son las personas, sus organizaciones e
instituciones los que definen, según sus valores, cuáles son los fines, para parafrasear a Amartya
Sen (2000), “que tienen razones para valorar”. Las capacidades, en este sentido, son el conjunto de
habilidades, “haceres” y oportunidades que tienen a su disposición las personas, las organizaciones
y las sociedades para alcanzar aquello que se proponen.

Las capacidades, definidas en el marco del enfoque anterior, constituyen pues el concepto central
de esta propuesta. Con ayuda de este concepto puede plantearse que el problema que va a tratar
de resolverse en este componente de la evaluación es si el arreglo institucional y las características
organizacionales de las CJ y los CCC, están contribuyendo al desarrollo de las capacidades
institucionales para alcanzar los objetivos de política que el PNCJCCC les ha asignado. En lo que
sigue, se van a precisar los elementos conceptuales y los supuestos principales de la manera en la
que se va a adaptar el enfoque del desarrollo de las capacidades institucionales.

El concepto de entorno

Como se señaló anteriormente, más que un cuerpo de conocimiento acabado y desarrollado por
medio de modelos formales, el desarrollo de capacidades institucionales es más bien un enfoque,
una manera de ver las cosas y plantear los problemas que se ha desarrollado de manera
pragmática. No obstante, este enfoque se alimenta de otras corrientes teóricas que proveen
instrumentos conceptuales sólidos que ayudan a definir de manera rigurosa problemas de

3 Ver entre otros: (Bhagavan & Virgin, 2004; Lusthaus, Anderson, & Murphy, 1995; UNDP, 2009).

Página 18 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

investigación y evaluación. Para los propósitos de esta evaluación, se van a explorar los conceptos
de entorno institucional, capacidades y desempeño organizacional.

Para comenzar con el concepto de entorno institucional, se retoma lo dicho en la estrategia


metodológica general con respecto al contexto para dialogar, a renglón seguido, con la idea de
institución como regla. Antes de ello es necesario hacer una distinción analítica: aunque algunos
autores -al igual que ocurre con el habla cotidiana- usan indistintamente los términos de institución
y organización para hablar de una misma realidad empírica, aquí se va a proponer separarlos con
propósitos analíticos. Siguiendo a Douglas North (1991), va a partirse de la base de que, si las
instituciones son las reglas de juego, las organizaciones y los individuos son los jugadores. Sin
alterar esta distinción analítica, el análisis del desarrollo de capacidades institucionales es el
enfoque más amplio que debe cubrir la interacción entre ambos (instituciones y organizaciones).

Ahora bien, según el marco de la evaluación de sistemas complejos delineada anteriormente, las
intervenciones no operan en un vacío social sino que son influenciadas por factores políticos,
sociales, legales, técnicos, ambientales, financieros y económicos concretos. Esta idea es la base
igualmente del concepto de entorno (que va a usarse, en este sentido, como sinónimo de
contexto), el cual se va a caracterizar, para los propósitos de la evaluación institucional, como las
fuerzas políticas, económicas, sociales e institucionales que afectan y se ven afectadas por las
intervenciones sociales. Para el caso concreto, el entorno es el marco en el cual las CJ y los CCC
implementan los lineamientos y las estrategias del PNCJCCC. No todos los componentes del entorno
tienen el mismo peso funcional en la explicación de cómo las distintas fuerzas afectan el PNCJCCC.
En esta evaluación va a partirse de la base que un enfoque centrado en las instituciones y en el
arreglo institucional es el mejor punto de partida para entender el entorno como contexto.

Aquí entra la idea de las instituciones: según han afirmado diversos autores, las instituciones
pueden concebirse como las reglas y normas construidas socialmente que constriñen y moldean el
actuar humano (North, 1991; Ostrom, 2005). Tal y como lo propone la economía institucional, las
instituciones son importantes en tanto regulan quiénes pueden participar en determinada arena
social, qué acciones pueden promoverse, permitirse o vetarse, cómo se toman las decisiones y, en
general, cuál es la estructura de incentivos (premios y castigos) que va a moldear el
comportamiento de los agentes (organizaciones e individuos).

Ahora bien, en un sentido, este planteamiento hace que los enfoques institucionales les asignen a
las instituciones efectos independientes sobre el accionar humano: cambios en las reglas producen
cambios en los comportamientos. En otro sentido, esta forma de plantear las cosas incorpora
igualmente la importancia del contexto: las instituciones, como productos del accionar humano, co-
evolucionan a la par con los cambios que se producen en la economía, la política y la sociedad. Así,
pues, aunque las instituciones de por sí conforman un tipo de entorno (el entorno institucional) que
influye en el comportamiento de los agentes, su origen, funcionamiento y eficacia para moldear la
acción humana hay que entenderla en el contexto o el entorno más amplio de las fuerzas políticas,
económicas y sociales.

Página 19 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Las capacidades organizacionales

Como se propuso, se va a separar analíticamente las instituciones (las reglas) de las organizaciones
(los jugadores). Bajo este marco, las organizaciones (para el caso concreto, las entidades que hacen
parte del PNCJCCC) operan en un entorno institucional, económico, social y político que afecta su
desempeño. Enfocándose más específicamente en el entorno institucional, se va a suponer que
éste define tanto las reglas que regulan la participación, los roles y las funciones de cada entidad en
la política pública, como los incentivos que determinan su comportamiento.

Es en este entorno en el cuál las entidades que hacen parte del PNCJCCC operan e intentan alcanzar
los objetivos de planteados desplegando para ello las estrategias y acciones que fueron definidas
anteriormente en la descripción de la cadena de valor. Aquí lo que interesa resaltar es que, de
acuerdo con el enfoque propuesto, es necesario retroceder antes de hablar de los resultados
alcanzados y preguntarse por las capacidades que tienen dichas entidades para alcanzar sus
objetivos de acceso a la justicia y generar, en últimas, valor social y bienestar.

Retomando la literatura sobre el desarrollo humano (en particular, el enfoque de las capacidades),
se va a hablar sobre las capacidades organizacionales de las CJ y CCC como aquellos medios,
habilidades, las formas de hacer las cosas (funcionamientos, en el lenguaje de Sen) que tienen
disponibles y que usan efectivamente para alcanzar sus fines, y las relaciones dentro del sistema
(i.e. bidireccionales). Aunque determinar taxativamente cuáles son las capacidades en términos de
medios y funcionamientos es una tarea más empírica que teórica (depende por supuesto del
sistema complejo), aquí se van a considerar un conjunto construido de acuerdo con elementos
comunes que ha resaltado la literatura y, de manera pragmática, de acuerdo con las necesidades de
la evaluación. Estos son (la lista no refleja un orden de importancia): los recursos, la articulación y
coordinación interinstitucional, los canales de comunicación, el conocimiento y la información.
Como eje transversal se propone considerar la gestión de recursos, de información y los
mecanismos de planeación como una de las habilidades claves que pueden ayudar a entender el
vínculo entre el entorno, los recursos y resultados. Esta forma de plantear el tema de las
capacidades organizacionales se basa en las siguientes consideraciones.

En primer lugar, para poder operar, toda entidad requiere recursos: materiales, administrativos,
infraestructura física, recursos humanos, entre otros. Al igual que la riqueza material en las teorías
del desarrollo humano, estos recursos son medios para alcanzar fines. En términos del enfoque que
se ha venido utilizando, lo anterior implica una lectura doble: examinar la distribución de dichos
recursos entre las entidades, sus déficits o superávits; y, al mismo tiempo, la capacidad que tienen
las organizaciones de transformarlos en funcionamiento, en productos (bienes o servicios) y en
resultados. Por lo tanto, el análisis debe pasar, igualmente, por preguntarse por aquellas
habilidades que les permiten a las organizaciones gestionar dichos recursos, y vincularlos con las
estrategias y las actividades a partir de las cuales planifican los resultados esperados. En pocas
palabras: posesión y uso son dos caras de la misma moneda en un análisis de capacidades.

En segundo lugar, debe partirse de la base que las entidades no operan solas, sino que compiten,
cooperan y entran en conflicto con otras entidades. Una intervención como el PNCJCCC,

Página 20 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

precisamente, se basa en la idea de coordinar y articular entidades relacionadas con servicios que
satisfacen la demanda de acceso a la justicia de los ciudadanos. Por lo tanto, la habilidad de
cooperar, de llevar a cabo acciones conjuntas, de planificar acciones hacia unos objetivos comunes,
va a ser considerada como una de las capacidades organizacionales sobre las que se va a volcar la
evaluación. Al igual que en el punto anterior, nótese que le cabe igualmente una doble lectura: el
de la posesión (por ejemplo, de vínculos o acciones efectivas de coordinación entre las entidades
involucradas en el PNCJCCC) y el del uso o gestión de mecanismos de coordinación y articulación.

En tercer lugar, se va a considerar, como una capacidad relacionada con las dos anteriores, la
generación de conocimiento y el uso de la información por parte de las CJ y las CCC. Las
organizaciones no se agotan en los recursos, sus vínculos con otras organizaciones y los resultados
alcanzados vis a vis los fines y las estrategias propuestas para alcanzarlos. Las organizaciones son
agentes del desarrollo, al igual que las personas, en la medida que aprenden de sus experiencias, se
adaptan al entorno (este tema se retomará más adelante) y generan formas de hacer las cosas y
conocimientos orientados hacia la práctica. Algunas corrientes han llamado a estas características
los activos intangibles de las organizaciones y a su gestión, la gestión -valga la redundancia- del
conocimiento. Con la misma intención, a este aspecto de las entidades y sus relaciones mutuas, se
le va a dar el nombre de capacidad de gestionar el conocimiento y la información.

El desempeño institucional

Finalmente, el desempeño institucional es la tercera pieza del enfoque del desarrollo de


capacidades aplicado al caso del PNCJCCC. En un sentido formal, el desempeño puede considerarse
como una función del entorno y de las capacidades de las organizaciones. En tanto concepto,
engloba los logros del conjunto de instituciones y organizaciones que interactúa en un contexto
determinado. Aunque el foco de esta evaluación está centrado en el entorno institucional, van a
considerarse como parte del análisis tres aspectos relacionados con el desempeño.

El primero de ellos está relacionado con la idea de pertinencia de la oferta con respecto a la
demanda. Para que una organización sea exitosa, se parte del hecho de que los bienes y servicios
que ofrece deben estar orientados a las demandas, las necesidades y las preferencias de los
usuarios. De la misma forma, una organización debe intercambiar información con el entorno sobre
el comportamiento de sus clientes o beneficiarios y, partir de la capacidad de gestionar el
conocimiento, adaptarse a las nuevas realidades pues, tal y como se dijo, el contexto es siempre
dinámico (y adaptativo). Dicho de manera sencilla, interesa conocer la forma en la que las CJ y los
CCC, en el marco del PNCJCCC, leen el entorno y adaptan sus servicios a las realidades de la
conflictividad regional y local.

El segundo de ellos, más allá de los resultados, es más una condición de posibilidad de cualquier
resultado y es la sostenibilidad de las CJ y los CCC. Las concepciones del desarrollo, al pasar de
considerarlo ya no un asunto relacionado con choques y agentes externos sino como un proceso
endógeno, ponen énfasis en la agencia (las capacidades, como se ha tenido oportunidad de
reseñar) y en la sostenibilidad de los esfuerzos, las ideas, los proyectos y las políticas de desarrollo
de producir por sí mimas los resultados esperados. Bajo esta óptica, cabe preguntarse por la

Página 21 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

manera en la que las CJ y los CCC están asegurando su sostenibilidad o su permanencia en el


tiempo. Esto está también directamente relacionado con la gestión de recursos, conocimiento e
información de la que se habló arriba, pero con el énfasis en aquellas acciones que se toman hacia
el futuro con miras a la sostenibilidad de los recursos, el apoyo político y la viabilidad institucional.

El tercero de ellos está relacionado, a su vez, con dos aspectos: la reputación y los resultados. Con
respecto a la reputación, se dirá igualmente que está en el plano de las condiciones de posibilidad
de los resultados y se refiere más que todo a la trama de los significados, las imágenes, las
expectativas y la confianza que genera el PNCJCCC en su conjunto entre las diferentes partes
involucradas. Aquí se retoma lo dicho en el marco general, y es que para que las acciones de una
intervención pueden activar mecanismos de resultado, deben ser reconocidas y apropiadas como
construcciones y medios legítimos para alcanzar aquello que se proponen por parte tanto de las
entidades involucradas como por parte de los clientes o beneficiarios.

Por último, están los resultados alcanzados por el programa objeto de la evaluación. Aunque este va
a ser un componente que va a ser desarrollado en otra sección del documento, cabe decir que,
desde la perspectiva de la evaluación institucional y la triangulación de los resultados, los elementos
identificados por medio del análisis del entorno y las capacidades organizacionales pueden servir
para construir hipótesis que vinculen entre sí entorno, capacidades y la parte material del
desempeño: los resultados (o por lo menos las percepciones -significados- de los mismos).

Estrategia de investigación

La estrategia de investigación de esta evaluación consiste en tres fases interconectadas: i) mapa del
entorno, ii) análisis de capacidades y iii) determinación de las condiciones de desempeño.

Mapa del entorno

El mapa del entorno es una construcción que hace el investigador a partir de la información
recogida en el terreno (documentos del Programa, entrevistas con las entidades involucradas,
talleres con los usuarios, información secundaria sobre los territorios, entre otros). El objetivo es
identificar la manera en la que las fuerzas del entorno afectan el desarrollo de las capacidades y el
desempeño de las CJ y los CCC en el marco del PNCJCCC. Para efectos de esta evaluación, se va a
hacer uso de la herramienta de análisis PEST, ligeramente modificada.

El análisis PEST es un tipo de análisis del entorno que se usa en la planeación estratégica de las
organizaciones y que suele complementarse con un análisis DOFA. El análisis PEST es el acrónimo de
las fuerzas Políticas, Económicas, Sociales y Tecnológicas que componen el entorno de las
organizaciones. A partir de la información recogida, se describe cada una de las categorías y se
vinculan tanto con las oportunidades y factores de éxito, como con las amenazas con respecto a la
implementación del programa y, en particular, a las capacidades organizaciones de las CJ y CCC y su
desempeño. Dado que se buscan conocer diversos tipos de contexto, la forma concreta de
desagregar las categorías PEST va a variar y corresponde a un problema empírico. Sin embargo,
pueden sugerirse las siguientes variables de interés, aclarando nuevamente que el análisis debe

Página 22 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

combinar datos de fuentes documentales (primarias y secundarias) percepciones, experiencias y


narrativas de las personas acerca del entorno, sus características y efectos con respecto al
desarrollo de capacidades:

Fuerzas políticas

• Cambios derivados de los ciclos electorales


• Cambios en las políticas públicas de acceso a la justicia
• Presencia de grupos armados
• Expectativas hacia el futuro de las políticas públicas de acceso a la justicia

Fuerzas económicas

• Situación económica nacional, regional y local


• Infraestructura: vías, servicios públicos, entre otros.
• Presencia sector privado
• Presencia economías ilegales
• Expectativas económicas

Fuerzas sociales

• Tendencias demográficas de la población: migración, crecimiento, etc.


• Oportunidades de educación
• Cambios en los estilos de vida
• Tipología de conflictos
• Cultura de la legalidad

Fuerzas tecnológicas

• Niveles de conectividad
• Apropiación digital
• Conocimientos y cultura digital
• Medios de comunicación: radio, prensa, televisión.

Aunque el análisis normativo podría ubicarse como uno de las integrantes del acrónimo PEST, se
sugiere tratarlo aparte por el peso que tiene en el conjunto de la evaluación. Este se desarrolla
igualmente en varias etapas: la primera, descriptiva, está dirigida a leer las normas (leyes, decretos
y demás lineamientos) y las disposiciones relacionados con las entidades: quiénes participan, cuáles
son sus funciones y responsabilidades; cuáles son los mecanismos de articulación, coordinación y
planificación. De la misma forma, se realiza una lectura de si la norma establece de manera explícita
incentivos relacionados con las actuaciones de las entidades involucradas en la implementación del
PNCJCCC. Esta lectura ya debe arrojar luces sobre qué tan taxativas, generales, directas o ambiguas
son los funciones, los mecanismos de coordinación verticales y horizontales, los incentivos y los
mecanismos de exigibilidad contemplados en las normas.

Página 23 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Una vez se realiza la parte descriptiva y se detectan las características de las normas que se han
reseñado, se pasan a analizar los diferentes puntos de vista con respecto al arreglo institucional.
Este es el análisis clásico cualitativo, el cual se dirige a entender, en un contexto determinado, cuál
es el significado de las imágenes, los relatos y las percepciones asociadas con las normas, las
funciones y los roles, los mecanismos de articulación y coordinación, junto con los incentivos que se
reconocen como determinantes de la accionar de las entidades en el marco del PNCJCCC.

Análisis de capacidades

El análisis de las capacidades busca determinar el estado de las habilidades que se encuentran en
las organizaciones con el fin de, en un momento posterior, escudriñar en las razones que pueden
explicar los efectos observados de las fortalezas o los déficits de capacidades con respecto a la
implementación del programa y el logro de sus objetivos.

Este análisis de las capacidades, al igual que la fase anterior, combina los datos obtenidos a partir
de las distintas fuentes e instrumentos de investigación. En particular, al inicio de esta fase va a ser
relevante, para entender el contexto operativo, describir y analizar las tendencias del
comportamiento de las CJ y CCC en cuanto a los flujos de atención, los tipos de casos y demás
indicadores que permitan conocer la magnitud y las características de los casos. Seguidamente,
debe realizarse el mismo diálogo entre datos organizacionales de las CJ y CCC (siempre que sea
posible) relacionados con los recursos (humanos, tecnológicos, infraestructura y financieros) y el
punto de vista de las entidades sobre los mismos.

Al análisis de los recursos se le añade como elementos dinámicos los patrones de interacción entre
las entidades (articulación y coordinación), el conocimiento, el uso de la información, y la gestión.
Para la articulación y la coordinación, que es una línea de análisis que viene de la fase anterior, se
complementa en esta fase con datos relacionados (objetivos y subjetivos) con las instancias de
articulación de los diferentes niveles: los comités nacionales, municipales, el comité coordinador al
interior de las CJ y CCC. Igualmente se busca establecer e interpretar el sentido de los distintos
puntos de vista acerca de la cooperación entre entidades, sus principales logros y dificultades.

Estas consideraciones aplican igualmente con respecto al conocimiento y a los mecanismos de


gestión y planeación. En cuanto a los primeros, el énfasis va a estar puesto en el uso de la
información que hacen las CJ y CCC para sus procesos internos de planeación; sobre todo interesa
conocer las habilidades, los procesos de aprendizaje, las dificultades y las oportunidades
relacionadas con el SICJ y otros factores relevantes. Finalmente, se le va a prestar atención a los
procesos de planeación de las CJ y CCC, en cuanto las tecnologías empleadas, la confección de los
planes de acción, la articulación de la oferta interinstitucional, y los mecanismos que tienen
disponibles de seguimiento y evaluación.

Este análisis puede finalizar con el empleo de la matriz DOFA (Debilidades, Oportunidades,
Fortalezas y Amenazas) del contexto organizacional (en diálogo con los resultados PEST) como una
herramienta para sintetizar los hallazgos e interpretar las razones que explican que en

Página 24 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

determinados contextos las capacidades organizacionales (o sus brechas) sean factores de éxito,
debilidades, oportunidades o amenazas para el desarrollo institucional.

Determinación de las condiciones de desempeño

Como se dijo arriba, desde la perspectiva de la evaluación institucional, se pretende determinar no


tanto el desempeño en términos de resultados (esto se va a desarrollar en un componente
específico), sino algunas condiciones de posibilidad del desempeño exitosos que interesan
particularmente a la evaluación como la pertinencia entre la oferta y la demanda, la sostenibilidad y
la reputación.

Desde el lado de la pertinencia, más allá de un análisis cuantitativo de correspondencia entre oferta
de servicios de acceso a la justicia y tipos conflictos (igual esto entra en la descripción de las fuerzas
del entorno), interesa destacar el proceso que llevan a cabo las CJ y los CCC para responder a dichas
demandas. Por ejemplo, si estas cuestiones entran en los procesos de planeación, seguimiento y
evaluación; si el uso de la información como capacidad permite generar conocimiento suficiente
sobre el entorno (incluidas las tendencias de la conflictividad local), y si las organizaciones son
responsivas en este sentido o, en una palabra, si las organizaciones logran adaptarse a los cambios
del entorno.

Finalmente, la determinación de las condiciones de desempeño pasa por analizar la sostenibilidad y


la reputación del programa. Con respecto a lo primero, la evaluación va a dirigir su mirada sobre la
gestión de recursos por parte tanto de las entidades nacionales como territoriales. Como se ha
venido proponiendo, esto implica usar un balance entre datos organizacionales objetivos
(presentes, por ejemplo, en las normas, documentos y planes del programa y la vida organizacional
de las CJ y CCC) y percepciones, narrativas y opiniones subjetivas sobre la viabilidad, logros y
dificultades de las estrategias de sostenibilidad.

Con respecto a la categoría de reputación, se van a englobar todo el material recogido relacionado
con los diferentes puntos de vista acerca del reconocimiento y la apropiación de las normas que
regulan el Programa, el posicionamiento a nivel local y el nivel de confianza que subyace a las
interacciones (verticales y horizontales) entre las distintas entidades.

3.2. Articulación entre preguntas orientadores y el diseño cualitativo

Tal y como se argumentó a lo largo de la sección pasada, el diseño metodológico del componente
institucional incorpora los conceptos de desarrollo de capacidades y se opeartiviza a través tres
estrategias: i) mapa del entorno, ii) análisis de capacidades y iii) determinación de las condiciones
de desempeño. A continuación, se presenta de manera sintética la relación entre las preguntas
orientadores de la evaluación, los instrumentos de recolección de información y los métodos y
técnicas de análisis.

Página 25 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tabla II-3 - Articulación preguntas orientadoras y diseño metodológico – Componente institucional


Información Método/Técnica de
Pregunta de Investigación
(Instrumentos de recolección) Análisis
1. ¿La estrategia de concentrar la oferta • Instrumento de recolección • Análisis de capacidades.
institucional en un mismo espacio (CJ y CCC) ha grupal a nivel nacional. • Determinación de las
contribuido a fortalecer la capacidad institucional • Entrevistas grupales a nivel condiciones de
para facilitar el acceso a la justicia? ¿Cuáles son municipal. desempeño.
las ventajas y desventajas de contar con una • Entrevistas semi-estructuradas
oferta institucional agrupada en los CCC y CJ? a nivel nacional.
• Entrevistas semi-estructuradas
a nivel municipal.
2. ¿La oferta institucional nacional y local • Instrumento de recolección • Análisis de capacidades.
en las CJ y CCC que están en el PNCJCC es la grupal a nivel nacional.
requerida de acuerdo con la conflictividad • Entrevistas grupales a nivel
de las zonas con presencia del Programa? municipal.
¿Qué otras entidades deberían • Entrevistas semi-estructuradas
complementar la oferta institucional de las a nivel nacional.
CJ y CCC?
• Entrevistas semi-estructuradas
a nivel municipal.
3. ¿La normatividad define competencias y • Instrumento de recolección • Mapa del entorno.
lineamientos claros para las entidades que grupal a nivel nacional.
participan en el PNCJCCC? ¿La • Entrevistas grupales a nivel
normatividad (incluye lineamientos y municipal.
criterios) definida para la implementación • Entrevistas semi-estructuradas
y operación de CJ y CCC es suficiente y clara a nivel nacional.
• Entrevistas semi-estructuradas
para el Ministerio de Justicia y del Derecho,
a nivel municipal.
ET y las entidades que hacen parte del
Programa?

4. ¿Esa normatividad se reconoce, se apropia y • Instrumento de recolección • Mapa del entorno.


opera en los territorios? ¿Cuáles son las razones grupal a nivel nacional. • Análisis de capacidades.
que dificultan el cumplimiento de las normas? • Entrevistas grupales a nivel
municipal.
• Entrevistas semi-estructuradas
a nivel nacional.
• Entrevistas semi-estructuradas
a nivel municipal.
5. ¿Cómo es la coordinación y articulación entre • Instrumento de recolección • Mapa del entorno.
las entidades que hacen presencia en las CJ y grupal a nivel nacional. • Análisis de capacidades.
CCC? ¿Las instancias de coordinación disponibles • Entrevistas grupales a nivel • Determinación de las
funcionan contribuyen al logro de los resultados municipal. condiciones de
• Entrevistas semi-estructuradas desempeño.
esperados del PNCJCCC? ¿Existe coherencia
a nivel nacional.
entre la oferta institucional de cada entidad de
• Entrevistas semi-estructuradas
orden nacional y la oferta institucional disponible a nivel municipal.
en las CJ y CCC?

6. ¿De qué manera las entidades territoriales que • Entrevistas grupales a nivel • Análisis de capacidades.
hacen parte del programa han promovido la municipal. • Determinación de las
sostenibilidad de las CJ y CCC en sus municipios? • Entrevistas semi-estructuradas condiciones de
¿Qué dificultades se encuentran la ET para a nivel municipal. desempeño.
garantizar la sostenibilidad del programa?

7. ¿Las ET han consultado, utilizado y analizado la • Instrumento de recolección • Análisis de capacidades.


información que brinda el SICJ, de ser así, cómo grupal a nivel nacional. • Determinación de las
• Entrevistas grupales a nivel condiciones de

Página 26 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Información Método/Técnica de
Pregunta de Investigación
(Instrumentos de recolección) Análisis
lo hacen? ¿Cuáles son las dificultades municipal. desempeño.
(operativas, presupuestales, normativas, de • Entrevistas semi-estructuradas
usabilidad y tecnológicas) que enfrentan los a nivel nacional.
equipos o las personas encargadas del uso y • Entrevistas semi-estructuradas
a nivel municipal.
gestión del SICJ y otros sistemas que operen en
las casas y centros?

Fuente: Elaboración propia UT Ipsos – Economía Urbana (2019)

3.2.1. Matriz de consistencias

En la siguiente matriz de consistencias se relacionan las preguntas orientadoras del componente


institucional con las categorías, variables, fuentes documentales4, bases de datos5 e instrumentos
que serán empleados en el componente. Los instrumentos se relacionan de la siguiente manera:

1. Instrumento de recolección grupal con los profesionales del Ministerio de Justicia y


del Derecho (MJD).
2. Entrevista grupal con las entidades relacionadas con temas de Derechos Humanos.
3. Entrevista grupal con las entidades relacionadas con temas de Familia y Niñez.
4. Entrevista grupal con las entidades relacionadas con temas de Solución de
Conflictos.
5. Entrevista grupal con otras entidades que hace presencia en las CJ o CCC.
6. Entrevista individual con la Registraduría Nacional del Estado Civil (RNEC).
7. Entrevista individual con la Fiscalía General de la Nación (FGN).
8. Entrevista individual con la Procuraduría General de la Nación (PGN).
9. Entrevista individual con la Defensoría del Pueblo (DP).
10. Entrevista individual con el Instituto Colombiano de Bienestar Familiar (ICBF).
11. Entrevista individual con el Ministerio de Trabajo (MdT).
12. Entrevista individual con la Policía Nacional (inspección general y convivencia y
seguridad)
13. Entrevista individual con Medicina Legal.
14. Entrevista individual con la Unidad para la Atención y Reparación Integral a las
Víctimas (UARIV).

4 A continuación, la lista de las fuentes documentales inicialmente identificadas: (i) Decreto 1477 de 2000; (ii) Documento
de análisis de transversal Justicia Local, Territorio y Conflicto (2015); (iii) Informe Casas de Justicia: Una Buena Idea Mal
Administrada (2015); (iv) Libro Ante la Justicia (2014); (v) Cartilla “La Justicia entra por casa” (2012); (vi) Documento de
Política: Acceso a la Justicia Alternativa, Programas Nacionales de Casas de Justicia y Centros de Convivencia y Ciudadana
(2015); (vii) Plan Decenal Del Sistema De Justicia 2017-2027; (viii) Informe de Rendición de Cuentas, Programa Nacional de
Casas de Justicia y Convivencia Ciudadana 2017-2018; (ix) Manual de implementación y sostenibilidad del Programa
Nacional de Casas de Justicia y Convivencia Ciudadana (2019); (x) Procedimiento de implementación del Programa
Nacional de Casas de Justicia y Convivencia Ciudadana (2019); (xi) Experiencias Exitosas De Lucha Contra La Impunidad
(2007); (xii) Manual De Procesos y Procedimientos Del Programa Nacional De Casas De Justicia (2012).
5 Las bases de datos a utilizar corresponden a: (i) SICJ, (ii) SPOA, (iii) SIERJU, (iv) SIDIJUS (Bogotá), (v) SIJUSCO (Justicia

Comunitaria) y (vi) Sistemas alternativos de cada CJ.

Página 27 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

15. Entrevista individual con la Agencia para la Reincorporación y la Normalización


(ARN).
16. Entrevista individual con la Agencia de los Estados Unidos para el Desarrollo
Internacional (USAID).
17. Entrevista individual con la Organización Internacional para las Migraciones (OIM).
18. Entrevista individual con el Coordinador de la CJ o CCC.
19. Entrevista individual con el informante idóneo en temas de seguridad, convivencia
ciudadana y justicia.

Página 28 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tabla II-4 – Matriz de Consistencias del Componente de la Evaluación Institucional


Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
• Actores
involucrados
(identificación y
tipificación)
• Competencias
y
1. ¿La
responsabilidad
estrategia de
es
concentrar la
(identificación,
oferta
caracterización,
institucional
rangos y
en un mismo
jerarquías)
espacio (CJ y
• Percepciones
CCC) ha
sobre el
contribuido a
desempeño de
fortalecer la
las funciones y
capacidad Oferta
Roles y competencias
institucional Institucional X X X X X X X X X X X X X X X X X X X X
competencias de su entidad
para facilitar Agrupada
en el marco del
el acceso a la
PNCJCCC
justicia?
• Percepciones
¿Cuáles son
sobre el
las ventajas y
desempeño de
desventajas
las funciones y
de contar con
competencias
una oferta
de las otras
institucional
entidades en el
agrupada en
marco del
los CCC y CJ?
PNCJCCC
• Capacidad de
toma de
decisión (por
actor)
• Identificación

6 FD: Fuente Documental.

Página 29 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
de la ruta de
acción del
programa
• Sinergias
creadas a partir
de la
articulación
institucional
• Integralidad
Contribucion
sectorial
es a la
• Respuesta
capacidad
articulada a un X X X X X X X X X X X X X X X X X X X X X
institucional
mismo
de la oferta
requerimiento
agrupada
• Mejoras
realizadas en
cobertura y
calidad de los
servicios
Justicia
• Percepciones
sobre los demás
Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
2. ¿La oferta • Revisión de
institucional los resultados
nacional y del diagnóstico
local en las CJ de
y CCC que conflictividad
Pertinencia Análisis de
están en el del municipio o X X X X X X X X X X X X X X X X X X X X
de la Oferta conflictividad
PNCJCC es la distrito:
requerida de - Revisión de los
acuerdo con antecedentes
la históricos del
conflictividad municipio o

Página 30 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
de las zonas distrito.
con presencia - Revisión del
del análisis del
Programa? contexto
¿Qué otras - Revisión del
entidades mapeo de
deberían actores y del
complement sondeo a la
ar la oferta comunidad
institucional • Percepciones
de las CJ y sobre el
CCC? diagnóstico de
conflictividad
• Inventario de
la oferta de las
CJ y CCC
• Pertinencia de
Pertinencia
la oferta en
de la oferta X X X X X X X X X X X X X X X X X X X X X X X
relación al
institucional
diagnóstico
• Déficit o
superávit de en
oferta
3. ¿La • Antecedentes
normatividad y marco
define normativo
competencia • Descripciones
sy sobre el deber
lineamientos ser del
claros para Diseño y PNCJCCC:
Análisis
las entidades deber ser del objetivos, roles X X X X X X X X X X X X X X X X X X X X
Normativo
que PNCJCCC y
participan en responsabilidad
el PNCJCCC? es
¿La • Competencias
normatividad y
(incluye responsabilidad
lineamientos es

Página 31 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
y criterios) (identificación,
definida para caracterización,
la rangos y
implementaci jerarquías)
ón y • Definiciones
operación de de los actores
CJ y CCC es sobre el
suficiente y objetivo del
clara para el PNCJCCC
Ministerio de • Definiciones
Justicia y del de los actores
Derecho, ET y sobre las
las entidades fortalezas del
que hacen diseño del
parte del PNCJCCC
Programa? • Definiciones
Objetivos de de los actores
X X X X X X X X X X X X X X X X X X X
programa sobre los
aspectos a
mejorar del
diseño del
PNCJCCC
• Percepciones
sobre la
pertinencia de
los
Lineamientos
Técnicos-
Administrativos
del PNCJCCC
• Percepciones
sobre los demás
Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
4. ¿Esa Aplicación de Cumplimient • Conocimiento X X X X X X X X X X X X X X X X X X X

Página 32 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
normatividad la o de normas de la norma
se reconoce, normatividad • Apropiación
se apropia y de la norma
opera en los • Operación de
territorios? la norma
¿Cuáles son • Cuellos de
las razones botella para
que dificultan aplicación de la
el norma
cumplimient • Percepciones
o de las sobre los demás
normas? Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
5. ¿Cómo es • Identificación
la de rangos o
coordinación Identificación jerarquías e
y articulación de instancias de
X X X X X X X X X X X X X X X X X X X
entre las interlocutore articulación
entidades s • Capacidad de
que hacen toma de
presencia en decisión
las CJ y CCC? • Identificación
¿Las de canales de
instancias de Articulación comunicación
coordinación Institucional • Facilidad de
disponibles acceso a
funcionan canales de
Identificación
contribuyen comunicación
de canales de X X X X X X X X X X X X X X X X X X X
al logro de • Claridad de la
comunicación
los información
resultados recibida
esperados • Mecanismos
del PNCJCCC? de resolución
¿Existe de
coherencia controversias

Página 33 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
entre la entre entidades
oferta • Percepción
Percepción
institucional (positiva o
de las
de cada negativa) de la
interlocucion X X X X X X X X X X X X X X X X X X X
entidad de interlocución
es
orden interinstitucion
establecidas
nacional y la al
oferta • Descripción
institucional de la oferta
disponible en nacional y la
las CJ y CCC? local en la CJ o
CCC
Coherencia
• Grado de X X X X X X X X X X X X X X X X X X X X X X X
de la oferta
coherencia
entre ofertas
(nacional y
disponible en
las CJ y CCC)
• Percepciones
sobre los demás
Significados y actores
códigos involucrados X X X X X X X X X X X X X X X X X X X
compartidos • Significados
dados al
PNCJCCC
6. ¿De qué • Acciones
manera las desde las ET
entidades que promueven
territoriales la sostenibilidad
que hacen • Factores
Acciones de
parte del institucionales,
la ET que
programa Sostenibilidad sociales, X X X X X X
promueven la
han financieros,
sostenibilidad
promovido la ambientales y
sostenibilida técnicos
d de las CJ y (internos o
CCC en sus externos) de las
municipios? ET que

Página 34 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
¿Qué determinan la
dificultades sostenibilidad
se de las CJ o CCC
encuentran la
ET para
garantizar la
sostenibilida
d del
programa?
7. ¿Las ET • Acceso a los
han sistemas de
consultado, información
utilizado y • Oportunidad
analizado la de la
información información
que brinda el • Generación
SICJ, de ser de reportes o
así, cómo lo consultas
hacen? Uso del SICJ • Protocolos de
¿Cuáles son para toma de manejo de X X X X X X X X X X X X X X X X X X X X X X X X X
las decisiones información
dificultades • Análisis y uso
(operativas, de información
presupuestal SICJ para toma de
es, decisiones
normativas, • Pertinencia de
de usabilidad la información
y para la gestión
tecnológicas) y toma de
que decisiones
enfrentan los • Restricciones
equipos o las operativas,
personas presupuestales,
Dificultades
encargadas normativas, de
para el uso X X X X X X X X X X X X X X X X X X X X X X X X X
del uso y usabilidad y
del SICJ
gestión del tecnológicas del
SICJ y otros SICJ
sistemas que • Calidad de la

Página 35 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales
Bases de Datos
F Grupales Individuales
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 6 Munici-
Nal Municipal Nacional
pal
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
operen en las información
casas y • Uso de otros
centros? sistemas de
información

Interoperabilida
d de SICJ
• Cuellos de
botella para el
uso y la
consulta del
SICJ

Página 36 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

3.2.2. Instrumentos de recolección de información cualitativa y otras fuentes de información

Instrumentos de recolección de información cualitativa

Los instrumentos de recolección de información cualitativa se aplicarán, por un lado, a funcionarios


de las entidades que son parte del PNCJCCC o se relacionan directamente con él, tanto a nivel
nacional, como local, y, por el otro, a usuarios de las CJ y los CCC. Aunque la mayoría de
instrumentos tendrán un énfasis en la evaluación institucional, tal como se formula en el pliego de
condiciones, se considera que también es importante conocer la percepción de los funcionarios
directamente involucrados con el programa, sobre los resultados del mismo. No obstante, para la
evaluación de resultados, será fundamental la información que se recoja en los talleres
participativos con los usuarios.

En este sentido, aunque los instrumentos tengan un énfasis en uno u otra componente de la
evaluación, su diseño tendrá en cuenta los conceptos generales de los enfoques de cada uno, así
como las preguntas de investigación, siguiendo la matriz de consistencia presentada en la sección
anterior, por lo que podrán servir para recolectar información tanto del componente institucional,
como el de resultados. Esto será debidamente separado para el análisis de la información como se
explicará más adelante.

Como se mostró en la matriz de consistencia, los instrumentos a utilizar para el levantamiento de


información de fuentes primarias, en síntesis, son:

Tabla II-5 - Resumen de los instrumentos cualitativos


Nivel Con énfasis en la evaluación institucional Evaluación de resultados
Nivel Nacional Individuales
• 10 entrevistas semiestructuradas
• 2 entrevistas semiestructuradas adicionales

Grupal
• 1 grupo focal con profesionales del
Ministerio de Justicia, responsables de la
implementación del PNCJCCC
Nivel local En cada uno de los 8 municipios seleccionados, • En cada uno de los 8
se aplicarán los siguientes instrumentos: municipios seleccionados,
se realizará un (1) taller
Individuales participativo con usuarios.
• 2 entrevistas semiestructuradas
• Una con el/la coordinador/a de CJ o CCC
• Una a un informante idóneo en temas de
seguridad, convivencia ciudadana y justicia

Grupales
• 4 entrevistas grupales:
• Una con entidades relacionadas con temas
de DDHH.

Página 37 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Nivel Con énfasis en la evaluación institucional Evaluación de resultados


• Una con entidades relacionadas con temas
con temas de Familia y Niñez.
• Una con entidades relacionadas con temas
con temas de Solución de Conflictos.
• Una con otras entidades de las CJ o CCC.
Fuente: Elaboración propia UT Ipsos – Economía Urbana (2019).

Nótese que se sugiere agregar dos entrevistas semiestructuradas adicionales a las solicitadas en el
pliego de condiciones, en el nivel nacional. Estas se aplicarán a organismos de cooperación
internacional que han tenido un papel importante en el desarrollo del PNCJCCC. Estos son USAID
(Agencia para el Desarrollo Internacional de los Estado Unidos) y OIM (Organización Internacional
para la Migraciones).

Entrevistas semiestructuradas a entidades de orden nacional

Las entrevistas semi estructuradas son una técnica conversacional individual o grupal en la que a
partir de preguntas de referencia o puntos de control según las variables de análisis, se obtiene
información sobre las percepciones, opiniones y actitudes de un actor relevante en un proceso
social determinado, con la participación del investigador en el rol de entrevistador. Al ser
semiestructuradas, estas entrevistas contemplarán una serie de preguntas diseñadas para abarcar
la totalidad de las categorías y responder a las preguntas de investigación pertinentes, de acuerdo
con la matriz de consistencia, pero permitirán también que surjan nuevas preguntas de manera
espontánea durante la conversación con el entrevistador.

Para la selección de los funcionarios a entrevistar en el nivel nacional, se utilizará el criterio de


informante clave, que establece que deben buscarse a las personas que, por su posición, rol o
experiencia, pueden proveer de información valiosa en términos de los intereses de la evaluación.
Esta aplica sobre todo para los actores institucionales. Aunque los pliegos de condiciones se
refieren a la utilización de entrevistas individuales para las siguientes entidades, se propone dejar
abierta la posibilidad de que sean entrevistas grupales en caso de que haya más de un informante
clave en una sola entidad, de tal manera que se asegure la recolección de la mayor cantidad de
información posible y la visión completa que desde la entidad puedan tener sobre el PNCJCCC. Las
siguientes son las entidades del orden nacional y de la cooperación internacional, en las que se
identificarán los informantes clave a entrevistar:

i. Registraduría Nacional del Estado Civil


ii. Fiscalía General de la Nación
iii. Procuraduría General de la Nación
iv. Defensoría del Pueblo
v. Instituto Colombiano de Bienestar Familiar
vi. Ministerio de Trabajo
vii. Policía Nacional (encargados de inspección general y convivencia y seguridad)
viii. Medicina Legal

Página 38 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

ix. Unidad para la Atención y Reparación Integral a las Víctimas


x. Agencia para la Reincorporación y la Normalización
xi. USAID
xii. OIM

Los objetivos de estas entrevistas, desde la perspectiva de la evaluación institucional que se


propone, son identificar el conocimientos que los funcionarios tienen sobre la normatividad y
enriquecer la información que se recolecte a través de fuentes secundarias, previamente
consultadas, capturar su percepción sobre los arreglos institucionales entorno al PNJCCC, así como,
siguiendo el enfoque propuesto, sobre las capacidades del equipo de trabajo y de la propia
organización de la que forman parte, como de las otras con las que deben articular esfuerzos, para
la implementación del Programa. Asimismo, recoger sus percepciones sobre los entornos, en
términos institucionales, en que se encuentran las CJ y los CCC en los territorios.

Finalmente, aunque no será el objetivo principal de estas entrevistas (y de los demás instrumentos
con énfasis en la evaluación institucional) se preguntará también sobre sus percepciones respecto
algunas categorías de resultados explicadas en la matriz de consistencia de dicho componente,
indagando entre otros, sobre qué tanto el PNCJCCC contribuye a solucionar y reducir conflictos, si
se está focalizando hacia la población que lo requiere o si se están ofreciendo los servicios que se
necesitan en ese determinado contexto. En la matriz de consistencia presentada, se encuentran las
preguntas orientadoras, dimensiones, categorías y variables que se tendrán en cuenta en el diseño
de cada uno de estos instrumentos.

Grupo focal con profesionales del MJD, responsables de la implementación del PNCJCCC

Este grupo focal está enfocado hacia la evaluación institucional. En este sentido, las preguntas y
temas que se escogerán para el diseño del instrumento, estarán relacionadas con el marco
institucional del Programa y el papel que este equipo ha jugado. Teniendo en cuenta la matriz de
consistencias y el enfoque de capacidades institucionales presentando, será importante centrar
este instrumento en el concepto de desarrollo de capacidades, específicamente al indagar sobre los
recursos, la articulación y coordinación interinstitucional, y el conocimiento y la información que se
manejan, facilitan o coordinan desde el MJD.

Además de las preguntas orientadoras para guiar la conversación que se adelantará con este grupo,
se llevarán impresos en carteleras grandes y visualmente atractivas, la cadena de valor y las
estrategias del Programa (cubrimiento, coordinación, capacitación, comunicación y participación).
Esto facilitará que los participantes tengan presente la totalidad del Programa e instituciones que
los forman, evitando dejar de considerar algún aspecto relevante.

Entrevistas semiestructuradas individuales en cada municipio

Se harán dos entrevistas semiestructuradas individuales en cada municipio, con un enfoque similar
al de las entrevistas a funcionarios de las entidades nacionales, pero añadiendo un mayor énfasis en

Página 39 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

los otros dos aspectos del enfoque de desarrollo de capacidades propuesto: el concepto de entorno
y el de desempeño institucional. A este nivel se harán dos entrevistas semiestructuradas:

• Una con el/la coordinador/a de CJ o CCC.


• Una a un informante idóneo en temas de seguridad, convivencia ciudadana y justicia.

Estas dos entrevistas permitirán tener una visión completa bajo el enfoque de desarrollo de
capacidades, ya que con la primera, la persona a cargo de la coordinación de la CJ o CCC, se podrá
ahondar en la descripción sobre los recursos que cuentan estas organizaciones, sus conocimientos y
sistemas de información y el uso que se les da, así como sus capacidades de articulación y
coordinación con otras entidades, entendiendo que estas son parte de sus funciones
fundamentales. Pero también, se indagará por su percepción frente al entorno, las relaciones
bidireccionales que se dan (sistema complejo), y la manera en que este panorama afecta positiva o
negativamente la implementación del PNCJCCC en su municipio.

Por el otro lado y de manera complementaria, la entrevista con el informante idóneo en seguridad,
convivencia y justicia, permitirá fundamentalmente profundizar desde la visión de la administración
municipal, en el concepto de entorno y, desde esa otra mirada, indagar por su percepción sobre el
funcionamiento y capacidades de la CJ o CCC. De esta forma, los instrumentos pueden acercarse a
la indagación sobre el desempeño institucional del Programa en el municipio y a la percepción
sobre sus resultados obtenidos, por parte de estos dos actores entrevistados.

En la matriz de consistencia presentada, se encuentran las preguntas orientadoras, dimensiones,


categorías y variables que se tendrán en cuenta en el diseño de cada uno de estos instrumentos.

Entrevistas semiestructuradas grupales en cada municipio

Las CJ y CCC deben cumplir una función fundamental de articulación con otras entidades, para
facilitar a la comunidad el acceso a la justicia. Estas entrevistas grupales, por lo tanto, indagarán por
la percepción de estos funcionarios y grupos de trabajo, sobre el desempeño de las CJ y los CCC, las
fortalezas y retos de la articulación y los resultados obtenidos en cada una de sus áreas. Por esto,
estas entrevistas contendrán preguntas que buscan responder tanto a la evaluación institucional,
como a la de resultados.

La técnica del instrumento no varía de la presentada en la entrevista semiestructurada individual,


salvo que en esta puede participar más de una persona. Se realizan con dos o tres individuos, que
tienen información sobre un mismo tema. Se escoge este tipo de entrevista cuando los actores
pueden tener información complementaria, y, en principio, no hay razones para que no puedan
hablar libremente de todos los temas que se van a preguntar, en presencia de la otra u otras
personas.

De acuerdo al contexto de cada municipio y a la presencia o no de todas las entidades, podrá variar
mínimamente los convocados a cada entrevista grupal. De acuerdo con el pliego de condiciones,
estas estarán conformadas de la siguiente manera:

Página 40 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

i. Una (1) entrevista grupal con las entidades relacionadas con temas de Derechos Humanos:
Personería, Defensoría, Unidad para la Atención y Reparación Integral a las Víctimas,
Agencia para la Reincorporación y la Normalización.
ii. Una (1) entrevista grupal con las entidades relacionadas con temas de Familia y Niñez:
Comisaría de Familia, Desarrollo Comunitario, Policía Nacional, ICBF, Registraduría.
iii. Una (1) entrevista grupal con las entidades relacionadas con temas de Solución de
Conflictos: Conciliadores (de distinta índole) y Policía Nacional.
iv. Una (1) entrevista grupal con las otras entidades que hacen presencia en las CJ o CCC:
Fiscalía, Medicina Legal, Inspección de Policía, Consultorios Jurídicos (universidades),
Ministerio de Trabajo, Jueces de Pequeñas Causas.

El diseño de estos cuatro (4) instrumentos se hará de acuerdo a lo planteado en la matriz de


consistencia.

Talleres participativos con usuarios

Este instrumento de recolección de información, por su énfasis en la evaluación de resultados, será


explicado más adelante.

Enfoque diferencial étnico

Esta propuesta contempla el levantamiento de información cualitativa en una CJ o CCC en la que se


prestan servicios de justicia étnica. Los instrumentos que se diseñen para este caso, tendrán un
ajuste para incluir el enfoque diferencial étnico. Asimismo, será incluida por lo menos una pregunta
sobre el enfoque diferencial étnico del Programa, en las entrevistas que se realicen a los
funcionarios de las entidades del orden nacional. Este es un tema relevante en Colombia, que se ha
estudiado desde la antropología jurídica, que debe tener su espacio en este programa y por lo tanto
se le prestará especial atención para evaluar la forma en que institucionalmente el PNCJCCC se
adapta para prestar esta atención, así como la manera en que se perciben sus resultados.

Fuentes de Información Documentales

A continuación, se identifican las siguientes fuentes documentales y normativas que se incluirán


para análisis en el componente de la evaluación institucional como complemento de la aplicación
de los instrumentos cualitativos. Estas fuentes serán complementadas a partir de las discusiones
con el CTS:

• Decreto 1477 de 2000.


• Documento de análisis de transversal Justicia Local, Territorio y Conflicto (2015).
• Informe Casas de Justicia: Una Buena Idea Mal Administrada (2015).
• Libro Ante la Justicia (2014).
• Cartilla “La Justicia entra por casa” (2012).
• Documento de Política: Acceso a la Justicia Alternativa, Programas Nacionales de Casas de
Justicia y Centros de Convivencia y Ciudadana (2015).

Página 41 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

• Plan Decenal Del Sistema De Justicia 2017-2027.


• Informe de Rendición de Cuentas, Programa Nacional de Casas de Justicia y Convivencia
Ciudadana 2017-2018.
• Manual de implementación y sostenibilidad del Programa Nacional de Casas de Justicia y
Convivencia Ciudadana (2019).
• Procedimiento de implementación del Programa Nacional de Casas de Justicia y
Convivencia Ciudadana (2019).
• Experiencias Exitosas De Lucha Contra La Impunidad (2007).
• Manual De Procesos y Procedimientos Del Programa Nacional De Casas De Justicia (2012).

Bases de datos

Como fuente de información complementaria, se busca aprovechar cada una de las bases de datos
disponibles. En primer lugar, los pliegos de condiciones sugieren que se use el SICJ. Este sistema, es
una aplicación web (https://sicj.casasdejusticia.gov.co/) que se creó en 2012, como respuesta a la
necesidad de la inmediatez de la información y en virtud del crecimiento del PNCJCCC. Inicialmente,
solo reportaban información las CJ, pero se realizaron las reformas para que tanto estas como los
CCC realicen el reporte a un mismo Sistema y con esto, se cuente con información unificada del
Programa.

Este Sistema, pretende permitir el seguimiento tanto de aspectos administrativos como de


operación de las CJ y CCC que hacen parte del Programa, a través de variables como:

• Datos de identificación.
• Datos sociodemográficos y de enfoque diferencial.
• Motivo de consulta: Tipo de trámite o servicio solicitado.
• Casos atendidos por entidad.
• Servicios brindados.
• Registro de actividades masivas o móviles realizadas por CJ o CCC.

Además, permite la realización de reportes de información generada en las CJ y CCC del país. A
partir de dichos reportes, se pretende realizar un análisis de los datos generados durante los
últimos 5 años, que permita identificar y sintetizar los elementos centrales para la evaluación
institucional como tipo de trámite o servicio solicitado, casos atendidos por entidad,
comportamiento de las solicitudes, entre otros. Así mismo, se identificarán las falencias en el
registro de información y variables necesarias para el seguimiento y la constante evaluación del
Programa.

Este análisis se apoyará con la consulta de otras bases de datos que se relacionan a continuación7:

7 Es preciso observar que el acceso a algunas de estas bases es limitado y que su incorporación en esta evaluación
dependerá de si las entidades a cargo facilitan dicho acceso. En todos los casos, que una entidad no preste esta
colaboración no incidirá de forma negativa para dar respuesta a las preguntas orientadoras.

Página 42 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

o SPOA: Base de datos del Sistema Penal Oral Acusatorio, cuenta con variables como datos de
identificación, datos sociodemográficos y de enfoque diferencial, información sobre el lugar
en el que ocurren y se denuncian los hechos, tipo y motivo de denuncia.

o SIERJU: Sistema de Información Estadística de la Rama Judicial, cuenta con variables como
datos sociodemográficos y de enfoque diferencial, procesos acumulados, rechazados o
retirados, egresos para descongestión, procesos sin trámite, procesos reactivados y
procesos inadmitidos, desiertos y desistidos.

o SIDIJUS: Sistema Distrital de Justicia (Bogotá), que a su vez cuenta con un módulo
denominado Sistema de Información de Casas de Justicia- SICAS, cuenta con variables como
datos de identificación, datos sociodemográficos y de enfoque diferencial. Además,
relaciona motivo de consulta y acciones realizadas desde el CRI.

o SIJUSCO: Sistema de Justicia Comunitaria (Bogotá), genera reportes sobre mediación y


conciliación comunitarias, así como de actores que intervienen en el proceso.

o Sistemas alternativos de cada CJ o CCC: Corresponden a los Sistemas de información físicos


o digitales, usados por las CJ o CCC y que cuentan con información de seguimiento de
casos, casos atendidos por entidad y datos de identificación, sociodemográficos y de
enfoque diferencial.

En todos los casos, estos sistemas de información que han sido previamente identificados, serán
objeto de discusión con el CTS, de tal forma que se garantice que sean sistemas que se estén
usando, que contengan información confiable, y que representen un aporte para la evaluación.
Finalmente, es importante mencionar que se indagará por los sistemas de información que
manejan cada una de las 5 CJ y los 3 CCC de la muestra, los cuales también serán objeto de estudio
para esta evaluación.

3.2.3. Justificación de la Metodología

La metodología propuesta para contestar a las preguntas de la evaluación es el más indicado por al
menos tres tipos de razones. En primer lugar, la realidad innegable de la alta heterogeneidad
económica, política, social y cultural del país. Este hace que, de entrada, se pueda suponer
razonablemente que las políticas públicas, los programas y los proyectos se comportan de forma
distinta según los lugares del país. Entender entonces cómo una política o un programa nacional se
“territorializa” es de vital importancia para tomar decisiones mejor informadas. En términos
metodológicos, esto implica diseñar metodologías sensibles al contexto y la complejidad, que
permitan construir objetos y problemas de investigación empíricos, y que generen a su vez
explicaciones situadas acerca del desempeño de las intervenciones en entornos diversos. El marco
general de la evaluación de sistemas complejos, con su énfasis en las relaciones bidireccionales, los
mecanismos contingentes y los enfoques propuestos de desarrollo de las capacidades
institucionales y análisis de resultados, responden concretamente a esta necesidad,

Página 43 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

operacionalizando tanto el contexto (o el entorno), como las características endógenas de la


implementación del PNCJCCC.

En segundo lugar, las evaluaciones deben estar a tono con los cambios en las formas de concebir a
los actores. Para decirlo, en una palabra, si la ciencia social pasó del concepto de actor (metáfora
que sugiere el seguimiento de un libreto) al concepto más elevado de agente (de nuevo Amartya
Sen, 2000, viene el caso), la evaluación de las intervenciones no se puede quedar atrás. Las
intervenciones no son, en este sentido, implementadas por autómatas que siguen protocolos y
manuales sino por organizaciones e individuos que tienen distintos tipos de capacidades: de
aprender, innovar, de convertir los recursos en funcionamientos, de responder y adaptarse a los
cambios del entorno. La concepción de las organizaciones y las personas como agentes, es la otra
gran justificación de proponer un diálogo entre los elementos de la evaluación realista, el enfoque
de las capacidades, los experimentos comportamentales y el tomarse en serio, en general, su punto
de vista a través de la puesta en marcha de las mejores técnicas cualitativas.

Por último, la metodología propuesta es la manera más adecuada de responder al reto de una
evaluación que va a tener que combinar datos de diverso tipo: cifras sobre hechos sociales,
institucionales y organizaciones, por un lado; relatos, percepciones y opiniones subjetivas sobre la
realidad, por el otro. La complejidad, en esta medida, no solo es una idea que se deba predicar de
las formaciones sociales sino del proceso mismo de investigación: un exceso de información sin una
columna vertebral como la que aquí se propone, puede comprometer la generación de
conocimiento. La presente metodología, al plantear que la realidad y la generación de conocimiento
son fenómenos complejos, que tanto los factores estructurales como subjetivos son importantes
para entender la realidad, y diseñando técnicas que permiten analizar, integrar la diversidad de
fuentes y datos, reduciendo la complejidad, le hace justicia a esta realidad.

3.3. Estrategia de Sistematización

Los procesos de sistematización y análisis de la información de tipo cualitativo seguirán algunos de


los criterios de la grounded theory (Glaser y Strauss, 1967), un modelo de teorización de tipo
sustantivo que persigue la emergencia de teoría a partir del trabajo empírico en un contexto de
realidad determinado. En este, las categorías de distinta naturaleza que son arrojadas por los datos
recolectados en campo son relacionadas y comparadas permanentemente con aquellas que trae el
propio investigador, con el fin de identificar patrones recurrentes y modelos más legítimos o
comunes que otros en la explicación del fenómeno. De allí que “la recolección de datos, el análisis y
la teoría que surgirá de ellos guardan estrecha relación entre sí” (Strauss y Corbin, 2002, p. 21).
Tales propósitos demandan que el proceso de investigación sea dinámico, aunque al mismo tiempo
suponen una secuencia rigurosa y sistemática en el tratamiento de la información. Para abarcar
grandes volúmenes de datos, los procesos son asistidos por software de análisis cualitativo
(Barreto, Velandia-Morales y Rincón-Vásquez, 2011; Glaser y Strauss, 1967; Strauss y Corbin, 2002)
que, para el caso de esta evaluación, será Atlas.ti.

Página 44 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Adicionalmente, dado que las fuentes primarias y secundarias seleccionadas para el levantamiento
de información de orden cualitativo arrojarán contenidos de tipo textual, el proceso será
acompañado por técnicas de análisis de contenido. Los contenidos textuales se caracterizan por
rasgos narrativos como la funcionalidad, la intencionalidad, la situacionalidad, la secuencialidad y la
temporalidad (Alonso, 2007; Delgado y Gutiérrez, 2007; Denzin y Lincoln, 2005; Good, 2003; Kohler,
2008; Merlinsky, 2006; Ricoeur, 1998; Strauss y Corbin, 2002). Tales rasgos permitirán en la
evaluación cumplir algunos de los objetivos señalados por Fernández (2002) para el análisis de
contenido y adaptados para los fines y enfoques de la evaluación:

• Determinar el deber ser del PNCJCCC de acuerdo con las leyes, decretos, normas, guías de
implementación y documentos del plan nacional de desarrollo.
• Determinar los canales, relaciones (unidireccionales y bidireccionales) y la claridad de la
comunicación institucional en los distintos niveles del PNCJCCC.
• Describir tendencias o factores adaptativos y develar semejanzas o diferencias en el
contenido de la comunicación emitida por los canales de distintas entidades implicadas en
el PNCJCCC.
• Identificar los significados y las actitudes, creencias, deseos, valores, puntos de interés,
objetivos, metas, etc., de los distintos actores institucionales y usuarios involucrados en el
PNCJCCC.
• Comparar las percepciones y vivencias de los usuarios y los funcionarios con los estándares
e ideales normativos del PNCJCCC.
• Identificar fortalezas y debilidades en el PNCJCCC desde el punto de vista de los actores
implicados y de acuerdo con otras fuentes de información que provean información al
respecto (i.e. evaluaciones u otras investigaciones).

Para tales fines, la estrategia de sistematización y análisis de la información cualitativa abarcará los
contenidos textuales:

Tabla II-6 - Contenidos textuales por componente de la evaluación


Componente institucional Componente de resultados
Contenidos - Transcripción en Word de instrumento de - Transcripciones en Word de 8
textuales recolección grupal (grupo focal) con profesionales talleres participativos con
arrojados por de MinJusticia responsables de implementación del población usuaria de las CJ y/o
las fuentes PNCJCCC CCV en los mismos municipios de
primarias la muestra del componente
- Transcripciones en Word de 10 entrevistas
individuales semiestructuradas a entidades de institucional
orden nacional sobre oferta institucional del - Categorías y memos en Word de
PNCJCCC (se proponen 2 adicionales con USAID y los investigadores sobre los
OIM). productos grupales elaborados en
- Transcripciones en Word de 8 entrevistas grupales los talleres (carteleras, diagramas
con entidades relacionadas con temas de DDHH de flujo, dibujos, etc.)

- Transcripción en Word de 8 entrevistas grupales


con entidades relacionadas con temas de Familia y

Página 45 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Componente institucional Componente de resultados


Niñez
- Transcripciones en Word de 8 entrevistas grupales
con entidades relacionadas con temas de Solución
de Conflictos
- Transcripciones en Word de 8 entrevistas grupales
con otras entidades de las CJ o CCC
- Transcripciones en Word de 8 entrevistas
individuales semiestructuradas con coordinador(a)
de CJ o CCC seleccionados en la muestra cualitativa
- Transcripciones en Word de 8 entrevistas
individuales semiestructuradas con informante
idóneo en temas de seguridad, convivencia
ciudadana y justicia de cada municipio de la
muestra cualitativa seleccionada
Contenidos - Legislación, normatividad relacionada y documentos administrativos e institucionales
textuales en Word o PDF emitidos por las entidades participantes en los distintos niveles:
arrojados por (i) Decreto 1477 de 2000; (ii) Documento de análisis de transversal Justicia Local, Territorio y
las fuentes Conflicto (2015); (iii) Informe Casas de Justicia: Una Buena Idea Mal Administrada (2015); (iv)
secundarias Libro Ante la Justicia (2014); (v) Cartilla “La Justicia entra por casa” (2012); (vi) Documento de
Política: Acceso a la Justicia Alternativa, Programas Nacionales de Casas de Justicia y Centros
de Convivencia y Ciudadana (2015); (vii) Plan Decenal Del Sistema De Justicia 2017-2027; (viii)
Informe de Rendición de Cuentas, Programa Nacional de Casas de Justicia y Convivencia
Ciudadana 2017-2018; (ix) Manual de implementación y sostenibilidad del Programa
Nacional de Casas de Justicia y Convivencia Ciudadana (2019); (x) Procedimiento de
implementación del Programa Nacional de Casas de Justicia y Convivencia Ciudadana (2019);
(xi) Experiencias Exitosas De Lucha Contra La Impunidad (2007); (xii) Manual De Procesos y
Procedimientos Del Programa Nacional De Casas De Justicia (2012).
- Estudios y evaluaciones sobre el PNCJCCC en Word o PDF
- Fichas de revisión bibliográfica en Word
Fuente: Elaboración propia UT Ipsos - Economía Urbana (2019).

La primera parte de la estrategia apuntará al diseño de una categorización preliminar o apriorística,


cuyo referente principal será la matriz de consistencias (Tabla II-4 y Tabla II-8). Dicha categorización
inicial deberá someterse a observación y análisis constante a lo largo de todo el estudio, para
evaluar y comprobar la pertinencia de las categorías predefinidas e identificar en cada momento la
emergencia de nuevas categorías que deberán incorporarse. Durante el trabajo de campo, se
producirán categorías emergentes desde los datos empíricos y permitirán a los investigadores
validar, confrontar, falsear, problematizar o complementar las categorías preliminares (Denzin y
Lincoln, 2005; Gibbs, 2018; Glaser y Strauss, 1967; Saldaña, 2016; Strauss y Corbin, 2002).

En una fase avanzada del proceso de la categorización preliminar y habiendo recopilado todos los
contenidos textuales procedentes de las fuentes cualitativas, se procederá a codificarlos con el
software de análisis cualitativo Atlas.ti (versión 7.5.4) para alcanzar una saturación de las categorías,

Página 46 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

definir ejes de análisis y arrojar interpretaciones (Flick, 2018; Strauss y Corbin, 2002). Para ello, el
proceso de sistematización implicará transcribir en formato Word todos los registros en audio
realizados durante el trabajo de campo y digitalizar o almacenar en formato PDF las fuentes
secundarias recopiladas. Todos los contenidos textuales se marcarán y clasificarán según el sistema
acordado por el equipo, con el fin de secuenciar y reconocer información básica de los documentos
de manera eficaz, y deberá ser pertinente para la triangulación (métodos, actores involucrados y
fuentes de información). Para el caso de la información documental, se establecerán los
documentos más importantes y se categorizarán de acuerdo a su importancia normativa (e.g. leyes,
decretos, normas, guías, estudios). Además de caracterizarlos y proporcionarles una lógica de
almacenamiento, esto permitirá precisar la posterior segmentación de datos y la obtención de
unidades distintas de comparación en los contenidos textuales.

Posteriormente, tendrá lugar el proceso de codificación de los contenidos textuales. Su propósito es


identificar varios segmentos de datos en relación con temas o ideas claves. Cuando los contenidos
textuales se incorporan en el software de análisis cualitativo, los segmentos mencionados se
agrupan en códigos que se vinculan entre sí y constituyen sistemas de relaciones (familias,
subgrupos, macrofamilias, etc.). Estos terminan constituyendo unidades hermenéuticas (UH), las
cuales agilizan el procesamiento eficaz de grandes universos de datos y permiten establecer
frecuencias, patrones o diferencias entre ellos, así como diferentes niveles de complejidad (Strauss
y Corbin, 2002). Se procurará que el proceso de codificación sea supervisado y discutido
permanentemente con el equipo.

El proceso de codificación obedecerá a la triple tipología de la grounded theory: codificación


abierta, axial y selectiva. En la codificación abierta, los contenidos textuales son revisados
exhaustivamente por el investigador, quien les asigna significaciones o conceptos a los segmentos,
unidades semánticas o unidades de registro específicas en el texto; en este caso, se usarán
oraciones completas, párrafos o ideas-fuerza, que servirán posteriormente de citas o verbatim.
Dado que este tipo de codificación es descriptiva y surge de las propiedades identificadas en los
datos textuales, permite clasificarlos y agruparlos en un primer nivel, lo que reduce la variedad de
las categorías apriorísticas y permite observar la emergencia de otras nuevas. La codificación axial
es el momento en que se establecen relaciones entre categorías de primer y segundo orden, en
torno a un eje específico. Aquí se despliega ampliamente el ejercicio comparativo, que permite la
emergencia de similitudes o diferencias entre conceptos y les otorga mayor estructuración y
complejidad. El producto esperado de la codificación axial es una tipología de relaciones, por
ejemplo, de asociación, causalidad, dependencia, jerarquía, contradicción, entre otras. Finalmente,
en la codificación selectiva es cuando emergen las categorías y conceptos centrales del estudio, de
gran densidad y capacidad explicativa del fenómeno, como producto de un alto nivel de saturación
y relevancia frente a otras categorías. Las categorías y conceptos centrales son integrados por
medio de memos y contrastados con la matriz de consistencias (Delgado y Gutiérrez, 2007; Strauss
y Corbin, 2002; Barreto, Velandia-Morales y Rincón-Vásquez, 2011).

Por último, se aplicarán dos estrategias de análisis en las que el equipo participará de manera
individual y grupal. En la primera estrategia, cada miembro redactará memos o comentarios en la

Página 47 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

UH, es decir, anotaciones que incluyan sus “análisis, pensamientos, interpretaciones, preguntas e
instrucciones para la recolección adicional de datos” (Strauss y Corbin, 2002, p. 121) y que
contrasten lo que los investigadores observaron en campo con los contenidos textuales. Pueden
incluir también anotaciones sobre el contexto, hallazgos preliminares, hipótesis o ideas más
estructuradas a modo de conclusiones sobre los datos (Strauss y Corbin, 2002). Este ejercicio se
realizará de forma pautada, siempre tendiendo a responder las preguntas orientadoras de la
evaluación de acuerdo a la matriz de consistencias.

Para la segunda estrategia de análisis, tal como se expone en el capítulo de triangulación, se harán
dos reuniones de trabajo grupal con todo el equipo con el objetivo de avanzar en la construcción de
la matriz hallazgos-conclusiones-recomendaciones (HCR): en la primera, cada miembro aportará
con los hallazgos encontrados para responder las preguntas orientadoras y, en la segunda, se
formularán las conclusiones y recomendaciones que emerjan de la información levantada y
analizada. Dichas reuniones de trabajo serán previas a la escritura de los productos finales y se
realizarán con todo el equipo de investigadores, de tal forma que se avance de la mano con los
resultados de los métodos cuantitativos.

4. Estrategia metodológica para la evaluación de resultados


Si bien la evaluación de resultados se plantea bajo la realización de al menos 20 (veinte) sesiones
efectivas de experimentos comportamentales en los mismos municipios del componente
institucional, así como 8 (ocho) talleres participativos con población usuaria de las CJ y de los CCC,
se entiende que el componente de resultados debe contener un marco interpretativo que se
articule con la estrategia metodológica institucional, dado que, algunos de los instrumentos de
recolección cualitativa, la revisión documental y el procesamiento de bases de datos (e.g. el SIJC)
permitirá establecer información clave para dar respuesta a las preguntas orientadoras de este
componente.

Por lo anterior, se presente a continuación en primer lugar, la estrategia metodológica para el


componente de resultados sin incluir los aspectos de la estrategia metodológica para la evaluación
comportamental. Posteriormente y de forma separada, se describe de forma exhaustiva y
siguiendo los criterios de calificación expuestos en los pliegos de condiciones, la estrategia
metodológica para la evaluación comportamental.

4.1. Estrategia metodológica para el componente de evaluación resultados

4.1.1. Marco Interpretativo

Evaluación de Resultados: Evaluación de Sistemas Complejos


Como se vio en el enfoque metodológico general, la evaluación del PNCJCCC se base en la teoría de
los sistemas complejos. Este enfoque permite que la unidad de análisis, en este caso las CJ y los
CCC, sea observada desde un conglomerado de conocimiento interdisciplinario con el fin de
establecer sus resultados a la luz de la estructura, el comportamiento y las dinámicas que se dan en
sistemas complejos (Ramalingam et al., 2008; Snowden et al., 2007). En otras palabras, el presente

Página 48 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

enfoque busca encontrar interrelaciones en lugar de cadenas lineales de causa y efecto, y ver
procesos de cambio en lugar de imágenes instantáneas.

Así, para empezar, este enfoque se justifica en que el PNCJCCC involucra a numerosos actores e
instituciones que interactúan en diferentes niveles (nacional, departamental, municipal), los cuales
están influenciados por factores políticos, sociales, legales, técnicos, ambientales, financieros y
económicos. Asimismo, en el PNCJCCC tanto los factores como los actores involucrados están
interrelacionados entre sí. En este caso, si un agente cambia en su comportamiento, es posible que
se afecte el comportamiento de muchos otros y que por ende, se generen cambios en los
resultados esperados. En últimas, debido a los diferentes factores y actores involucrados, y su
constante cambio, así como las interrelaciones que pueden afectar la adherencia a la intervención,
los resultados del PNCJCCC contienen un gran grado de incertidumbre.

De acuerdo a Ramalingam et al. (2008), los sistemas complejos incluyen varios conceptos, los cuales
dentro de diez puntos definen varios de los elementos a tener en cuenta en la definición de las
categorías para el análisis de la evaluación a partir del enfoque de sistemas complejos:

1. Los elementos y las dimensiones del PNCJCCC están interconectados y por lo tanto son
interdependientes;
2. Los procesos de retroalimentación y la interrelación entre actores promueven o inhiben el
cambio dentro de los sistemas;
3. La forma como emergen los comportamientos al interior de los sistemas, a menudo de
manera impredecible, surgen de la interacción de las partes, de modo que el todo es
diferente a la suma de las partes;
4. Las relaciones entre actores y esferas son con frecuencia no lineales, es decir, cuando
ocurre un cambio, con frecuencia es desproporcionado e impredecible;
5. La sensibilidad a las condiciones iniciales resalta cómo pequeñas diferencias en el estado
inicial de un sistema pueden conducir a diferencias masivas más adelante (generación de
brechas);
6. El establecimiento del tiempo y lugar en el que ocurre la intervención ayuda a determinar
una imagen de las dimensiones que afectan la intervención y cómo estos cambian con el
tiempo. En otras palabras, esto permite comprender cómo se mueven y evolucionan los
sistemas con el tiempo.
7. Contemplar comportamientos impredecibles puede determinar el orden subyacente a los
comportamientos aparentemente aleatorios exhibidos por ciertos agentes dentro del
sistema;
8. Los agentes que actúan como actores adaptativos reaccionan al sistema y entre sí, lo que
lleva a una serie de fenómenos que no son controlados desde la teoría;
9. Existe campo para la auto-organización que se caracteriza como una forma particular de
propiedad emergente que puede ocurrir en sistemas de agentes adaptativos,
especialmente en los niveles más micro;
10. Finalmente, existe la co-evolución la cual describe cómo, dentro de un sistema de agentes
adaptativos, se produce la evolución conjunta, de modo que el sistema general y los
agentes que lo componen evolucionan juntos o evolucionan conjuntamente con el tiempo.

Página 49 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Nuevamente, la conjunción de estos elementos ratifican la necesidad de explorar todos aquellos


elementos que pueden emerger al interior de una intervención compleja como lo puede ser el
PNCJCCC, lo que imprime la necesidad que desde los instrumentos de recolección definidos para el
componente de la evaluación institucional así como en los 8 talleres participativos se explore cómo
influyen y se interrelacionan los diferentes actores del sistema, así como determinar las diferentes
formas de interactuar y adaptarse a cada una de las condiciones locales.

Dado lo anterior, es importante mencionar que si bien los paradigmas lineales de causalidad o de
las configuraciones de Contexto-Mecanismo-Resultado de la evaluación realista son metodologías
robustas en cierto tipo de intervenciones o alcances de ciertas evaluaciones, para el caso de la
evaluación de institucional y de resultados del PNCJCCC pueden llegar a ser insuficientes. Por lo
anterior, los instrumentos de recolección de información y las categorías de análisis, como se vio en
el componente de la evaluación institucional, serán diseñados y definidas para detectar y analizar
cambios emergentes que no se puedan predecir a partir de la teoría o de un análisis de
configuraciones CMR.

Ahora bien, las evaluaciones de sistemas complejos se basan principalmente en métodos


cualitativos (Garandeau, 2009), no obstante, la combinación de métodos (cuantitativos y
cualitativos) permitirá no solo robustecer los hallazgos sino cuantificar resultados de la intervención
en las unidades de análisis requeridas en los pliegos de condiciones. En el caso de la presente
evaluación, el componente de resultados incorporará los siguientes conceptos o categorías para el
análisis resumidas por Ramalingam et al. (2008):

• Los sistemas complejos se describen mejor como una red flexible de ideas interconectadas e
interdependientes. La relevancia y aplicabilidad de este enfoque puede verse mejor a través
de estudios empíricos de realidades prácticas. Si bien una limitación es que puede que
nunca se logre una base firme para la complejidad, los instrumentos de recolección de
información estarán enfocados a desarrollar un modelo orientado a de-construir la red de
cómo se relacionan el conocimiento, las ideas, las relaciones, los actores, y lo que pasa al
conglomerar la oferta de justicia en un mismo espacio físico (i.e. las CJ o CCC), en lugar de
usar un modelo clásico de conocimiento que se basa exclusivamente en "fundamentos" o
"pilares" básicos.
• La complejidad integra elementos de la inducción y la deducción. La integración de estos
conceptos permite establecer una comprensión más profunda de los mecanismos a través
de los cuales ocurre un cambio impredecible, incognoscible y emergente. Este marco
permite una reinterpretación de los sistemas existentes y los problemas que se enfrentan
dentro de ellos. La complejidad genera ideas que ayudan a ver los problemas complejos de
una manera más realista y holística, apoyando así intuiciones y acciones más útiles, lo cual
termina siendo útil para este caso.
• La ciencia de la complejidad resulta particularmente útil al permitir analizar de forma
íntegra lo que antes se veía como "realidades desordenadas". En este caso, el enfoque de
evaluaciones de sistemas complejos permite comparaciones entre casos y sistemas
previamente no relacionados, lo que puede llevar a fortalecer los resultados y ayudar a

Página 50 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

resaltar las posibles recomendaciones diferenciadas para la toma efectiva de decisiones


(e.g. por CJ o CCC).
• Los conceptos de la teoría de la complejidad proporcionan una serie de pasos importantes
hacia una comprensión más verás de la intervención, así como de los factores involucrados
en las diferentes "realidades desordenadas". La ciencia de la complejidad permite: 1) que
los viejos conceptos se entiendan de diferentes maneras; 2) nuevas generalizaciones sobre
ciertos tipos de fenómenos; y 3) la adopción de conceptos únicos propios y propios.
• La factibilidad de aplicar métodos mixtos. Los enfoques cualitativos y cuantitativos tienen
mucho más en común cuando se utilizan a la luz de la complejidad. Los conceptos se
pueden usar individualmente o en combinación, para reflexionar sobre un fenómeno
individual, el sistema general o subsistemas específicos. Se pueden usar ex ante y ex post,
para aumentar los modelos existentes o como marco por derecho propio. En resumen, se
pueden usar de manera muy flexible.

Finalmente, el mayor desafío que se presenta en la evaluación de sistemas complejos proviene del
hecho de que el mejor curso de acción dependerá en gran medida del contexto y de la información
que se levante durante la aplicación de los diferentes instrumentos de recolección de información
de la presente evaluación, sugiriendo nuevas formas de pensar sobre las hipótesis de la teoría de
cambio y al mismo tiempo, permitirá que emerjan nuevas preguntas que deberían tanto plantearse
como responderse. Así, cuatro elementos básicos se tendrán en cuenta durante el diseño de
instrumentos, así como en el levantamiento y análisis de información: i) la apertura a nuevas idea;
ii) la moderación para aceptar las limitaciones del enfoque; iii) la honestidad y la humildad de
aceptar las limitaciones que pueda llegar a tener el PNCJCCC; y iv) la rigurosidad en el método para
enfrentar las implicaciones de las nuevas ideas.

Análisis de Percepciones: Fenomenología de las percepciones


El análisis de las percepciones determina en gran medida la forma en que deben abordarse otros
temas filosóficos, como la conciencia, el tiempo, el lenguaje o los objetos ideales. Por lo tanto, para
el componente de resultados de la evaluación del PNCJCCC es necesario utilizar técnicas de la
fenomenología para comprender “los significados, la estructura, la esencia de las experiencias
vividas por un grupo de personas”. Según Patton (2015), la fenomenología explora la forma en que
las personas le aportan sentido a sus experiencias de forma individual y grupal. Esto implica que la
estrategia de investigación debe lograr capturar la forma en que el PNCJCCC (e.g. la oferta agrupada
en un solo lugar o la orientación o la atención recibida) es percibido, descrito, juzgado, recordado.
Asimismo, es importante que esta información permita identificar y darle significado a los efectos
que han tenido en la vida de los participantes y que esto complemente el ejercicio de
experimentos. La fenomenología entonces, plantea que el entendimiento del entorno proviene de
las vivencias de las personas, pero que estas experiencias deben ser descritas, explicadas e
interpretadas para darles sentido.

De forma similar, Creswell (2013) plantea que un estudio fenomenológico se debe procurar por
describir los significados comunes de las personas frente a un fenómeno en particular. Así, en las
ciencias sociales se ha reconocido que la forma más adecuada de capturar las percepciones es a

Página 51 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

través de lo que se conoce en la literatura como fenomenología de la percepción, cuyo objetivo es


“restaurar el mundo de las percepciones” (Moran, 2011: 388).

En este sentido, hay dos implicaciones fundamentales en la aproximación fenomenológica para la


comprender y valorar los resultados del PNCJCCC. Por un lado, lo más importante dentro de la
investigación de las percepciones es conocer las experiencias de las personas y la forma en que
éstas han interpretado estos fenómenos. Como segunda medida, la única forma de conocer los
significados que se le otorga al PNCJCCC es por medio del trabajo de campo y de la aproximación al
fenómeno como tal. Esto implica tanto el contacto con la población que ha sido central en el diseño
e implementación del Programa, así como de los usuarios de las CJ y los CCC.

Es así como la fenomenología ofrece la posibilidad de aproximarse al fenómeno social a través de la


categorización y codificación de los significados que las personas le otorgan a la intervención. Esos
significados son los que internalizan las personas de tal forma que cambian la percepción sobre
aspectos claves del programa, como lo son contar con una oferta de atención integral. Así, para los
talleres participativos, así como los demás instrumentos de levantamiento de información con
énfasis en el componente de la evaluación institucional, se introducirán preguntas que permitan
analizar los cambios percibidos por los participantes en:

• Significados por parte de los involucrados en torno al PNCJCCC.


• Diferencias en los resultados de acuerdo a las características de entorno y de los niveles de
conflictividad.
• Contribuciones del PNCJCCC en los indicadores claves a medir con este componente, entre
otras variables de resultado, confianza, reciprocidad, cooperación y expectativas
normativas relacionadas con normas sociales.
• Percepciones acerca de la CJ o CCC, entre otros.

4.1.2. Articulación entre preguntas orientadores y el diseño cualitativo

Así como se hizo para el componente de la evaluación institucional, esta sección presenta la
metodología a través de en un esquema que relaciona: i) las preguntas orientadoras, ii) los
conceptos o categorías de análisis de acuerdo con el marco interpretativo, iii) los métodos o
técnicas cualitativas para la recolección de información. Adicionalmente, se hace referencia a la
descripción de los instrumentos de recolección de información los cuales guardan completa
relación con los planteados en la evaluación de institucional, haciendo énfasis en los 8 talleres
participativos. Finalmente, se argumenta por qué la metodología propuesta es la más adecuada
para el desarrollo de la evaluación teniendo en cuenta la necesidad existente. A continuación, se
presenta de manera sintética la relación entre las preguntas orientadores de la evaluación, los
instrumentos de recolección de información y los métodos y técnicas de análisis que tiene como
base la teoría de los sistemas complejos y la fenomenología de las percepciones.

Página 52 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tabla II-7 - Articulación preguntas orientadoras y diseño metodológico – Componente de resultados


Pregunta de Investigación Información Método/Técnica de
(Instrumentos de Análisis
recolección)
8. ¿El modelo operativo y de atención utilizado en las CJ y • Instrumento de • Sistemas Complejos
CCC contribuye a mejorar el acceso y uso de los servicios recolección grupal a • Fenomenología de las
de justicia por parte de la ciudadanía? ¿Qué fortalezas y nivel nacional. Percepciones
debilidades se pueden identificar en el modelo de • Entrevistas grupales a
nivel municipal.
atención?
• Entrevistas semi-
estructuradas a nivel
nacional.
• Entrevistas semi-
estructuradas a nivel
municipal.
• Talleres participativos.
• Encuesta corta.
9. ¿De qué manera ha contribuido la presencia de las CJ o • Entrevistas grupales a • Estimación de
CCC en sus territorios a mejorar los niveles de confianza, nivel municipal. resultados de los
reciprocidad, cooperación y normas sociales frente a la • Talleres participativos. juegos
solución de conflictos y uso de violencia por parte de los • Juegos. • Fenomenología de las
miembros de la comunidad? • Encuesta corta. Percepciones

10. ¿El programa está atendiendo a su población • Instrumento de • Sistemas Complejos


objetivo? ¿Se identifican necesidades de justicia recolección grupal a • Fenomenología de las
diferentes a las planteadas en los objetivos del nivel nacional. Percepciones
programa? • Entrevistas grupales a
nivel municipal.
• Entrevistas semi-
estructuradas a nivel
nacional.
• Entrevistas semi-
estructuradas a nivel
municipal.
• Talleres participativos.
11. Las personas que utilizaron los servicios de las CJ y • Entrevistas grupales a • Fenomenología de las
CCC, ¿reconocen la oferta de servicios de justicia y nivel municipal. Percepciones
convivencia allí ofrecidos? • Entrevistas semi-
estructuradas a nivel
municipal.
• Talleres participativos.
12. ¿Los funcionarios de las entidades presentes en las CJ- • Instrumento de • Sistemas Complejos
CCC conocen y han utilizado en su labor los mecanismos recolección grupal a • Fenomenología de las
alternativos de solución de conflictos? ¿Conocen y aplican nivel nacional. Percepciones
estrategias para prevenir la violencia contra niños, niñas, • Entrevistas grupales a
nivel municipal.
adolescentes, la mujer y la familia?
• Entrevistas semi-
estructuradas a nivel
nacional.
• Entrevistas semi-
estructuradas a nivel
municipal.
• Talleres participativos.
13. ¿Cuál es el nivel de conocimiento y aplicación de las • Instrumento de • Sistemas Complejos

Página 53 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Pregunta de Investigación Información Método/Técnica de


(Instrumentos de Análisis
recolección)
líneas estratégicas por parte de las entidades que hacen recolección grupal a • Fenomenología de las
parte de la oferta institucional de CJ-CCC? ¿Qué nivel nacional. Percepciones
dificultades han tenido para desarrollar esas líneas • Entrevistas grupales a
estratégicas? ¿Se han focalizado intervenciones en las nivel municipal.
• Entrevistas semi-
comunidades que cuentan con CJ-CCC a partir del uso de
estructuradas a nivel
la información disponible en las SICJ? nacional.
• Entrevistas semi-
estructuradas a nivel
municipal.
14. Los procesos de divulgación dirigidos a los • Instrumento de • Sistemas Complejos
ciudadanos: ¿Han generado que la comunidad conozca el recolección grupal a • Fenomenología de las
PNCJCCC? ¿Le han servido al ciudadano para conocer sus nivel nacional. Percepciones
derechos y deberes? ¿Cuáles han sido los cuellos de • Entrevistas grupales a
nivel municipal.
botella y las lecciones aprendidas en este aspecto?
• Entrevistas semi-
estructuradas a nivel
nacional.
• Entrevistas semi-
estructuradas a nivel
municipal.
• Talleres participativos.
Fuente: Elaboración propia UT Ipsos – Economía Urbana (2019)

4.1.2.1. Matriz de consistencias

En la siguiente matriz de consistencias se relacionan las preguntas orientadoras del componente de


resultados con las categorías, variables, fuentes documentales8, bases de datos9 e instrumentos que
serán empleados en el componente. Los instrumentos se relacionan de la siguiente manera, siendo
los 3 últimos los que más se desarrollaran a lo largo de esta sección dado lo solicitado en los pliegos
de condiciones:

1. Instrumento de recolección grupal con los profesionales del Ministerio de Justicia y


del Derecho (MJD).
2. Entrevista grupal con las entidades relacionadas con temas de Derechos Humanos.
3. Entrevista grupal con las entidades relacionadas con temas de Familia y Niñez.

8 A continuación, la lista de las fuentes documentales: (i) Decreto 1477 de 2000; (ii) Documento de análisis de transversal
Justicia Local, Territorio y Conflicto (2015); (iii) Informe Casas de Justicia: Una Buena Idea Mal Administrada (2015); (iv)
Libro Ante la Justicia (2014); (v) Cartilla “La Justicia entra por casa” (2012); (vi) Documento de Política: Acceso a la Justicia
Alternativa, Programas Nacionales de Casas de Justicia y Centros de Convivencia y Ciudadana (2015); (vii) Plan Decenal Del
Sistema De Justicia 2017-2027; (viii) Informe de Rendición de Cuentas, Programa Nacional de Casas de Justicia y
Convivencia Ciudadana 2017-2018; (ix) Manual de implementación y sostenibilidad del Programa Nacional de Casas de
Justicia y Convivencia Ciudadana (2019); (x) Procedimiento de implementación del Programa Nacional de Casas de Justicia
y Convivencia Ciudadana (2019); (xi) Experiencias Exitosas De Lucha Contra La Impunidad (2007); (xii) Manual De Procesos
y Procedimientos Del Programa Nacional De Casas De Justicia (2012).
9 Las bases de datos a utilizar corresponden a: (i) SICJ, (ii) SPOA, (iii) SIERJU, (iv) SIDIJUS (Bogotá), (v) SIJUSCO (Justicia

Comunitaria) y (vi) Sistemas alternativos de cada CJ.

Página 54 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

4. Entrevista grupal con las entidades relacionadas con temas de Solución de


Conflictos.
5. Entrevista grupal con otras entidades que hace presencia en las CJ o CCC.
6. Entrevista individual con la Registraduría Nacional del Estado Civil (RNEC).
7. Entrevista individual con la Fiscalía General de la Nación (FGN).
8. Entrevista individual con la Procuraduría General de la Nación (PGN).
9. Entrevista individual con la Defensoría del Pueblo (DP).
10. Entrevista individual con el Instituto Colombiano de Bienestar Familiar (ICBF).
11. Entrevista individual con el Ministerio de Trabajo (MdT).
12. Entrevista individual con la Policía Nacional (inspección general y convivencia y
seguridad)
13. Entrevista individual con Medicina Legal.
14. Entrevista individual con la Unidad para la Atención y Reparación Integral a las
Víctimas (UARIV).
15. Entrevista individual con la Agencia para la Reincorporación y la Normalización
(ARN).
16. Entrevista individual con la Agencia de los Estados Unidos para el Desarrollo
Internacional (USAID).
17. Entrevista individual con la Organización Internacional para las Migraciones (OIM).
18. Entrevista individual con el Coordinador de la CJ o CCC.
19. Entrevista individual con el informante idóneo en temas de seguridad, convivencia
ciudadana y justicia
20. Talleres participativos con población usuaria de las CJ o CCC.
21. Juegos con población usuaria y no usuaria de las CJ o CCC.
22. Encuestas cortas con población usuaria y no usuaria de las CJ o CCC.

Página 55 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tabla II-8 – Matriz de Consistencias del Componente de la Evaluación de Resultados


Cualitativos Institucionales Participantes
Bases de Datos
F Grupales Individuales Cuali Cuanti
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 10 Munici- Experi-
Nal Municipal Nacional
pal 20 mentos
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22
8. ¿El modelo
operativo y
• Acceso y uso a
de atención
los servicios de
utilizado en
justicia
las CJ y CCC
• Fortalezas y
contribuye a
debilidades del
mejorar el
modelo de
acceso y uso
atención
de los
Contribución • Percepciones
servicios de Efectos de las
al acceso y sobre el modelo X X X X X X X X X X X X X X X X X X X X X X X X X X X
justicia por CJ o CCC
uso de atención
parte de la
• Percepciones
ciudadanía?
sobre los
¿Qué
actores
fortalezas y
involucrados
debilidades
• Significados
se pueden
dados al
identificar en
PNCJCCC
el modelo de
atención?
9. ¿De qué • Confianza,
manera ha reciprocidad,
contribuido la cooperación,
presencia de normas sociales
las CJ o CCC Contribución • Propensión al
en sus en solución conflicto
territorios a Efectos de las de conflictos • Aversión al
X X X X X X X X X
mejorar los CJ o CCC y reducción riesgo
niveles de en el uso de • Capital Social
confianza, violencia (participación
reciprocidad, en
cooperación y organizaciones
normas cívicas o
sociales políticas)

10 FD: Fuente Documental.

Página 56 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales Participantes


Bases de Datos
F Grupales Individuales Cuali Cuanti
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 10 Munici- Experi-
Nal Municipal Nacional
pal 20 mentos
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22
frente a la • Acción
solución de colectiva
conflictos y •
uso de Fortalecimiento
violencia por de lazos
parte de los sociales
miembros de •
la Establecimiento
comunidad? de redes de
solidaridad
• Valores
compartidos
• Empatía
• Recursos
intercambiables
• Capacidades
de consecución
de consensos
• Capacidades
de acción social
• Intercambio
de
conocimientos y
experiencias
• Percepciones
sobre los
actores
involucrados
• Significados
dados al
PNCJCCC
10. ¿El • Descripciones
programa de las
está características
Atención a la
atendiendo a Focalización de la X X X X X X X X X X X X X X X X X X X X X X X X X X
población
su población focalización:
objetivo? ¿Se cumplimiento
identifican de criterios,

Página 57 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales Participantes


Bases de Datos
F Grupales Individuales Cuali Cuanti
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 10 Munici- Experi-
Nal Municipal Nacional
pal 20 mentos
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22
necesidades involucrados,
de justicia tiempos.
diferentes a • Mecanismos
las para asegurar la
planteadas en focalización
los objetivos adecuada e
del identificación
programa? de cuellos de
botella
• Opiniones
sobre la
focalización de
población
objetivo
• Inventario de
la oferta de las
CJ y CCC
• Pertinencia de
la oferta en
relación al
Pertinencia diagnóstico
de la oferta • Déficit o X X X X X X X X X X X X X X X X X X X X X X X X X X X
institucional superávit en
oferta
• Percepciones
de la población
con relación a
las necesidades
de justicia
11. Las •
personas que Reconocimiento
utilizaron los de la población
servicios de Posicionamie Reconocimien con relación a la
las CJ y CCC, nto del to del oferta de las CJ X X X X X X X
¿reconocen la PNCJCCC programa o CCC
oferta de • Percepciones
servicios de de la población
justicia y con relación a la

Página 58 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales Participantes


Bases de Datos
F Grupales Individuales Cuali Cuanti
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 10 Munici- Experi-
Nal Municipal Nacional
pal 20 mentos
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22
convivencia oferta de las CJ
allí ofrecidos? o CCC
• Percepciones
sobre los
actores
involucrados
• Significados
dados al
PNCJCCC
• Conocimiento
de estrategias
MASC por parte
12. ¿Los
de los
funcionarios
funcionarios
de las
• Aplicación de
entidades
Mecanismos estrategias
presentes en
alternativos MASC por parte
las CJ-CCC
para la de los X X X X X X X X X X X X X X X X X X
conocen y
solución de funcionarios
han utilizado
conflictos • Percepciones
en su labor Conocimiento
de la aplicación
los y uso de
de estrategias
mecanismos estrategias
MASC por parte
alternativos por parte de
de los
de solución los
diferentes
de conflictos? funcionarios
actores
¿Conocen y de las CJ y
• Conocimiento
aplican CCC
de estrategias
estrategias
Prevención para prevenir la
para prevenir
de la violencia contra
la violencia
violencia NNA, mujer y
contra niños,
contra niños, familia por
niñas, X X X X X X X X X X X X X X X X X X
niñas, parte de los
adolescentes,
adolescentes, funcionarios
la mujer y la
la mujer y la • Aplicación de
familia?
familia estrategias para
prevenir la
violencia contra

Página 59 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales Participantes


Bases de Datos
F Grupales Individuales Cuali Cuanti
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 10 Munici- Experi-
Nal Municipal Nacional
pal 20 mentos
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22
NNA, mujer y
familia por
parte de los
funcionarios
• Percepciones
de la aplicación
de estrategias
para prevenir la
violencia contra
NNA, mujer y
familia por
parte de los
diferentes
actores
13. ¿Cuál es • Conocimiento
el nivel de de líneas
conocimiento estratégicas por
y aplicación parte de los
de las líneas funcionarios
estratégicas • Aplicación de
por parte de líneas
las entidades estratégicas por
que hacen parte de los
Conocimiento
parte de la funcionarios
y uso de Conocimiento
oferta • Factores de
estrategias y aplicación
institucional éxito y cuellos
por parte de de líneas
de CJ-CCC? de botella para
las entidades estratégicas
¿Qué desarrollar las
de las CJ y
dificultades líneas
CCC
han tenido estratégicas
para • Percepciones
desarrollar de la aplicación
esas líneas de las líneas
estratégicas? estratégicas por
¿Se han parte de los
focalizado diferentes
intervencione actores
s en las Uso del SICJ • Acceso a los X X X X X X X X X X X X X X X X X X X X X X X

Página 60 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales Participantes


Bases de Datos
F Grupales Individuales Cuali Cuanti
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 10 Munici- Experi-
Nal Municipal Nacional
pal 20 mentos
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22
comunidades para toma de sistemas de
que cuentan decisiones información
con CJ-CCC a • Oportunidad
partir del uso de la
de la información
información • Análisis y uso
disponible en de información
las SICJ? para toma de
decisiones
• Pertinencia de
la información
para la gestión y
toma de
decisiones
• Focalización
de
intervenciones
a partir del SICJ
14. Los •
procesos de Reconocimiento
divulgación de la población
dirigidos a los con relación a la
ciudadanos: oferta de las CJ
¿Han o CCC
generado que (incluyendo las
la comunidad jornadas
conozca el móviles)
Posicionamie Reconocimien
PNCJCCC? ¿Le • Percepciones
nto del to del X X X X X X X X X X X X X X X X X X X X
han servido al de la población
PNCJCCC programa
ciudadano con relación a la
para conocer oferta de las CJ
sus derechos o CCC
y deberes? (incluyendo las
¿Cuáles han jornadas
sido los móviles)
cuellos de • Percepciones
botella y las sobre los
lecciones actores

Página 61 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cualitativos Institucionales Participantes


Bases de Datos
F Grupales Individuales Cuali Cuanti
Preguntas Disponibles
Dimensión Categorías Variables D
Orientadoras 10 Munici- Experi-
Nal Municipal Nacional
pal 20 mentos
1 2 3 4 5 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 21 22
aprendidas involucrados
en este • Significados
aspecto? dados al
PNCJCCC
• Percepciones
sobre el
conocimiento
de derechos y
deberes desde
los ciudadanos
y desde la
institucionalida
d
• Principales
cuellos de
Conocimiento botella y
Efectos de las
de derechos y lecciones X X X X X X X X X X X X X X X X X X X X
CJ o CCC
deberes aprendidas
sobre el
conocimiento
de derechos y
deberes
• Percepciones
sobre los
actores
involucrados
• Significados
dados al
PNCJCCC

Página 62 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

4.1.2.2. Instrumentos de recolección de información cualitativa y otras fuentes

Instrumentos de recolección de información cualitativa

Como ya se explicó en el componente de la evaluación institucional, los instrumentos de


recolección de información cualitativa se aplicarán, por un lado, a funcionarios de las entidades que
son parte del PNCJCCC o se relacionan directamente con él, tanto a nivel nacional, como local, y,
por el otro, a usuarios de las CJ y los CCC. Los instrumentos con un énfasis en la evaluación
institucional, tal como se formula en el pliego de condiciones, ya fueron explicados anteriormente.
De esa forma, a continuación se proceden a explicar los talleres participativos, que son los que
tienen mayor énfasis para este componente (i.e. evaluación de resultados).

Talleres participativos con usuarios

Estos talleres están enfocados principalmente a la evaluación de resultados, basados en la


experiencia que los usuarios de las CJ o CCC han tenido. La participación, en los talleres, se
entenderá como la posibilidad para los investigadores de obtener datos cualitativos sobre las
opiniones y significados de quienes han sido usuarios en las CJ o CCC. Es muy importante partir de
que, no solo por la convocatoria -que buscará una muestra heterogenia en cuenta al tipo de
servicio de las CJ o CCC, al que los participantes en el taller han accedido o tratado de acceder-, sino
porque cada experiencia en el PNJCCC es individual, en los talleres podrá haber personas con
experiencias muy diferentes y, por lo tanto, posiblemente percepciones sobre el funcionamiento y
resultados del Programa también diferentes.

En este sentido, los talleres serán la oportunidad para la construcción colectiva, a partir de
múltiples experiencias individuales y, por lo tanto, múltiples significados, expectativas y niveles de
confianza frente al PNCJCCC. Es por lo tanto fundamental un enfoque en donde todas las visiones,
percepciones y sentimientos frente al Programa son válidos y tomados en cuenta de manera
respetuosa, en un ambiente siempre seguro y amable para todas las personas allí presentes.

Los talleres servirán para indagar sobre la percepción general de las personas frente al PNCJCCC, en
términos de qué tanto contribuye al acceso y uso del sistema judicial, qué tanto contribuye a
solucionar y reducir conflictos, si se está focalizando hacia la población que lo requiere, si se están
ofreciendo los servicios que se necesitan en ese determinado contexto, qué tanto reconocimiento
tiene como Programa, así como los mecanismos que promueve y si ha contribuido a que la
ciudadanía conozca mejor sus derechos y deberes.

Además, a través de la reconstrucción de las experiencias individuales que han tenido los usuarios,
se recogerá información sobre cómo funcionan las CJ o CCC, sus capacidades y su articulación con
las otras entidades, así como las motivaciones de los usuarios antes y después de la experiencia
para acercarse al Programa y su nivel de satisfacción.

Página 63 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Los talleres tendrán una duración de tres horas y estarán dirigidos para un grupo entre 12 y 20
usuarios. Estarán divididos en 4 momentos: i) Presentación y calentamiento; ii) actividad 1; iii)
actividad 2; iv) reflexión final.

De manera preliminar, se propone, para la actividad 1 y 2, los siguientes objetivos:

Actividad 1: Se diseñará una actividad para realizar en grupos de máximo 4 personas, en donde
entre ellos se cuenten y registren gráficamente la experiencia de los otros, como usuarios de la CJ o
CCC, hasta donde los usuarios quieran compartirlas y solamente si se sienten cómodos haciéndolas
(se buscará que así sea, a través de la confidencialidad y técnicas de facilitación). Se harán
presentaciones de los registros y discusiones de cada grupo, en plenaria, y el equipo facilitador
guiará la discusión a través de preguntas que serán diseñadas a partir de la matriz de consistencia.
De esta manera se buscará identificar los elementos que resulten más particulares de cada
experiencia individual y los que son más generalizados a todas las experiencias y, por lo tanto,
característicos del sistema complejo y por ende, del arreglo institucional en el que se pone en
marcha el PNCJCCC en el municipio.

Actividad 2: Retomando algunos de los elementos discutidos durante la primera actividad, se le


pedirá a los participantes que organicen unas presentaciones teatrales, en donde algunos de ellos
estén informando o capacitando a otro (a manera de representación), sobre cómo proceder o no
frente a la CJ o CCC: puerta de entrada, formularios que debe conocer, trámites que debe realizar,
tipo de conflictos o circunstancias que se pueden tramitar, qué expectativas debería llevar, qué
conocimientos previos debe tener, qué funcionarios u oficinas va a encontrar, etc. La reflexión final
de esta actividad buscará ahondar tanto en los cuellos de botella como en las fortalezas del
Programa en el municipio y abrir la puertas hacia una reflexión sobre las posibles recomendaciones
u oportunidades de mejora del arreglo institucional, desde la perspectiva de los usuarios (en este
punto, las técnicas de facilitación deben permitir un manejo adecuado de las expectativas, frente al
alcance de la evaluación).

Con la reflexión final de los talleres se busca lograr la claridad necesaria de asuntos que no hayan
sido plenamente discutidos durante las actividades y chequear que todas las preguntas y asuntos
que se deben tratar, de acuerdo al matriz de consistencia y al diseño del instrumento, hayan sido
tratados.

Nota: Estas actividades son propuestas preliminares. Además de que deben desarrollarse y
detallarse, podrán ser revisadas, ajustadas y cambiadas, de común acuerdo con el CTS.

Enfoque diferencial étnico

Como ya se vio anteriormente, esta propuesta contempla el levantamiento de información


cualitativa en una CJ o CCC en la que se prestan servicios de justicia étnica. Los instrumentos que se
diseñen para este caso, tendrán un ajuste para incluir el enfoque diferencial étnico. Asimismo, será
incluida por lo menos una pregunta sobre el enfoque diferencial étnico del Programa, en las
entrevistas que se realicen a los funcionarios de las entidades del orden nacional. Este es un tema

Página 64 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

relevante en Colombia, que se ha estudiado desde la antropología jurídica, que debe tener su
espacio en este programa y por lo tanto debe ponérsele especial atención y evaluar la forma en que
institucionalmente se adapta para prestar esta atención, así como la manera en que se perciben sus
resultados.

Fuentes de Información Documentales

A continuación, se muestran nuevamente las fuentes documentales y normativas que han sido
previamente identificadas. Para este componente de la evaluación, se incluirán para analizar
aspectos claves relacionados con los resultados del PNCJCCC. Estas fuentes serán complementadas
a partir de las discusiones con el CTS:

• Decreto 1477 de 2000.


• Documento de análisis de transversal Justicia Local, Territorio y Conflicto (2015).
• Informe Casas de Justicia: Una Buena Idea Mal Administrada (2015).
• Libro Ante la Justicia (2014).
• Cartilla “La Justicia entra por casa” (2012).
• Documento de Política: Acceso a la Justicia Alternativa, Programas Nacionales de Casas de
Justicia y Centros de Convivencia y Ciudadana (2015).
• Plan Decenal Del Sistema De Justicia 2017-2027.
• Informe de Rendición de Cuentas, Programa Nacional de Casas de Justicia y Convivencia
Ciudadana 2017-2018.
• Manual de implementación y sostenibilidad del Programa Nacional de Casas de Justicia y
Convivencia Ciudadana (2019).
• Procedimiento de implementación del Programa Nacional de Casas de Justicia y
Convivencia Ciudadana (2019).
• Experiencias Exitosas De Lucha Contra La Impunidad (2007).
• Manual De Procesos y Procedimientos Del Programa Nacional De Casas De Justicia (2012).

Bases de datos

Como ya se mencionó en el componente de la evaluación institucional, se buscará aprovechar cada


una de las bases de datos disponibles. En primer lugar, los pliegos de condiciones sugieren que se
use el SICJ. Este Sistema, pretende permitir el seguimiento tanto de aspectos administrativos como
de operación de las CJ y CCC que hacen parte del Programa, a través de variables como:

• Datos de identificación.
• Datos sociodemográficos y de enfoque diferencial.
• Motivo de consulta: Tipo de trámite o servicio solicitado.
• Casos atendidos por entidad.
• Servicios brindados.
• Registro de actividades masivas o móviles realizadas por CJ o CCC.

Página 65 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Además, permite la realización de reportes de información generada en las CJ y CCC del país. A
partir de dichos reportes, se pretende realizar un análisis de los datos generados durante los
últimos 5 años, que permita identificar y sintetizar los elementos centrales para la evaluación de
resultados datos asociados a conflictividad, casos atendidos por entidad, comportamiento de las
solicitudes, entre otros.

Este análisis se apoyará con la consulta de otras bases de datos que se relacionan a continuación11:

• SPOA.
• SIERJU
• SIDIJUS
• SIJUSCO
• Sistemas alternativos de cada CJ o CCC

En todos los casos, estos sistemas de información que han sido previamente identificados, serán
objeto de discusión con el CTS, de tal forma que se garantice que sean sistemas que se estén
usando, que contengan información confiable, y que representen un aporte para la evaluación.
Finalmente, es importante mencionar que se indagará por los sistemas de información que
manejan cada una de las 5 CJ y los 3 CCC de la muestra, los cuales también serán objeto de estudio
para esta evaluación.

4.1.2.3. Justificación de la Metodología

La ciencia clásica ha sido descrita por algunos autores como un conjunto de "ficciones útiles" que
permiten reducir las complejidades del mundo real. Como ya se ha discutido previamente, este tipo
de simplificación puede no ser la más adecuada para identificar verdaderas soluciones a un sistema
complejo como puede ser el PNCJCCC. En palabras de Ramalingam et al. (2008), la ciencia de la
complejidad ofrece un marco teórico innovador pero desafiante, el cual permitirá delinear y
comprender mejor las complejidades del mundo real. No obstante, estos desafíos crean problemas
en torno a la definición, la medición, el análisis y la coherencia de una intervención de política
pública, y por lo tanto, conducen a un reconocimiento general de que existe la necesidad de
avanzar tanto en una comprensión teórica más profunda, como en otras aplicaciones prácticas.

En este sentido, es claro que todos los diseños metodológicos cualitativos deben estar basados en
un marco conceptual, el cual debe ser el que oriente el enfoque de la evaluación. Este marco debe
estar acorde al entendimiento que el equipo investigador le da a la intervención, y sujeto al alcance
definido para la evaluación (objetivos y preguntas orientadoras), al medio institucional en el que se
desarrolla (CJ y CCC), y en el contexto en el cual el programa opera. Esta es la razón de seleccionar
el marco de la evaluación de los sistemas complejos: el PNCJCCC involucra a numerosos actores e
instituciones que interactúan en diferentes niveles y se terminan agrupando en un mismo lugar, los
cuales están influenciados por factores políticos, sociales, legales, técnicos, ambientales, financieros

11Es preciso observar que el acceso a algunas de estas bases es limitado y que su incorporación en esta evaluación
dependerá de si las entidades a cargo facilitan dicho acceso. En todos los casos, que una entidad no preste esta
colaboración no incidirá de forma negativa para dar respuesta a las preguntas orientadoras.

Página 66 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

y económicos, y por lo tanto, se espera que si un agente cambia en su comportamiento, afecte el


comportamiento de muchos otros y que por ende, se genere incertidumbre en los resultados.

Así, con las preguntas orientadoras plasmadas en la matriz de consistencias, la definición de los
instrumentos de levantamiento de información y un marco teórico sólido, es posible implementar
una evaluación que verifique todos aquellos elementos tanto teóricos como empíricos de la
evaluación de sistemas complejos. En el caso de la evaluación del PNCJCCC, dada la naturaleza
tanto de la intervención (explicada en los párrafos anteriores), como de las preguntas orientadoras
planteadas (e.g. si el programa contribuye a mejorar el acceso y uso de los servicios de justicia por
parte de la ciudadanía), es necesario escoger dentro del repertorio de técnicas cualitativas unas que
proporcionen explicaciones certeras de por qué ocurren estos resultados (e.g. a qué obedecen
estos resultados) y si las interrelaciones que los explican obedecen a las mismas interconexiones o a
los mismos factores, los cuales se repiten o difieren de acuerdo con los contextos. Es esta la razón
por la cual se escogió la evaluación de sistemas complejos. Finalmente, de forma complementaria,
el pliego de condiciones requiere de un método concreto para analizar las percepciones; aquí se ha
propuesto en esta sección utilizar la fenomenología de las percepciones.

Por último, es importante mencionar que el diseño metodológico de la evaluación (i.e. evaluación
de institucional y de resultados) sigue un orden lógico y secuencial: primero se entra a conocer en
profundidad la intervención. Para eso se parte de la presente propuesta, la cual será
complementada con una revisión exhaustiva de información secundaria (documentos) y primaria
(talleres con el MJD y el DNP). Con esta información se diseñan los instrumentos de recolección de
información (entrevistas individuales y grupales, talleres participativos, experimentos) y se va a
campo a hacer una verificación de si se están logrando o no los resultados del PNCJCCC, y también,
cómo se están dando. Esto en un marco de sistemas complejos, evidenciando en detalle los
factores que los explican. Dicha verificación se hace una parte en campo y otra en escritorio
analizando la información recolectada y sistematizada a través del software Atlas.ti y su
triangulación con las fuentes de información cuantitativas, primarias y secundarias. El análisis de la
evaluación en el marco de los sistemas complejos permitirá establecer por qué ocurren estos
resultados (e.g. a qué obedecen estos resultados) y si las interrelaciones que los explican responden
a las mismas interconexiones o a los mismos factores, los cuales se repiten o difieren de acuerdo
con los contextos. Con la misma información se recurrirá a darle significado a los resultados a partir
de la fenomenología de las percepciones. El análisis partirá del diligenciamiento de la matriz de
hallazgos, conclusiones y recomendaciones, esto con el fin de ordenar la evidencia en torno a las
preguntas orientadoras y también, para apoyar la triangulación. El orden lógico justifica el diseño;
también el uso de técnicas precisas para el tipo de preguntas de investigación que se quieren
responder.

4.1.3. Estrategia de Sistematización

Como ya fue anunciando, la sistematización de la información cualitativa del componente de


resultados sigue los mismos principios establecidos en la sección de estrategia de sistematización
del componente institucional. Esto, porque como se explicó antes, los instrumentos de recolección

Página 67 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

primaria son holísticos, los cuales, abordarán aspectos que hacen referencia tanto a la evaluación
institucional como de resultados.

La sistematización de la información, sin embargo, sí se diferenciará en las categorías de análisis,


pues tanto para el componente institucional como para el de resultados, se establecieron
categorías de análisis iniciales (ver Tabla II-4 y Tabla II-8 - Matrices de consistencia para cada
componente).

4.2. Estrategia metodológica para la evaluación comportamental

4.2.1. Diseño Experimental

En este apartado se detalla el diseño experimental propuesto para obtener medidas a nivel
individual de las cuatro variables de resultado planteadas en los pliegos de condiciones, a saber:
confianza, reciprocidad, cooperación y expectativas normativas relacionadas con normas sociales
frente a la solución de conflictos y uso de violencia. Asimismo, el diseño incluye una medida
adicional a las requeridas en el pliego de condiciones que, se considera, es extremadamente útil
para entender cómo la atención recibida en las Casas de Justicia (CJ) o Centros de Convivencia
Ciudadana (CCC) afecta las actitudes individuales frente al conflicto. Se trata de una medida de la
propensión individual a situaciones de conflicto, basada en un Juego del Ultimátum con cambio de
roles (Guth et al., 1982).

El apartado está organizado de la siguiente manera. Primero se discute la selección de la muestra


experimental que corresponde a los grupos de “tratamiento” y de “control”. Segundo, se discute
cómo esta selección afecta la implementación de los experimentos y, por último, se describen los
juegos específicos diseñados para medir cada una de las variables de resultado que son de interés
para la evaluación.

Selección de sujetos experimentales

Grupo de Tratamiento

Los sujetos experimentales “tratados” serán aquellos que recibieron atención en las CJ o CCC. En
este sentido se propone evaluar el efecto de la atención recibida sobre dos grupos de tratamiento
distintos:

● Tratamiento 1: usuarios de una CJ o CCC que hayan recibido atención recientemente.


● Tratamiento 2: usuarios que hayan recibido atención con suficiente anterioridad.

Para el primer grupo se tomará un lapso de hasta dos semanas. Para el segundo se tomará un lapso
de mínimo un mes.12

12Estos lapsos son necesariamente arbitrarios y pueden ajustarse según las recomendaciones que haga el Comité Técnico
de Seguimiento (CTS). En esencia, su objetivo es distinguir entre los efectos de corto y de mediano plazo que tiene la

Página 68 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

La razón de esta distinción radica en que la asistencia reciente a una CJ o CCC puede tener efectos
sobre las variables que se quieren medir por dos motivos distintos: la atención recibida
propiamente dicha y las emociones o significados que podría generar esta atención. En efecto, hay
evidencia de que la exposición a canales institucionales de atención por parte de personas o grupos
que tienen necesidades o vulnerabilidades específicas puede generar emociones positivas o
negativas.13 Por ejemplo, personas que han sido recientemente victimizadas pueden revivir las
emociones negativas de su victimización al narrar los hechos en los que ésta ocurrió, y estas
emociones pueden reducirse o potenciarse dependiendo de la reacción de los funcionarios que
escuchan la narración.

Por otro lado, en la medida en que las emociones tienden a disiparse con el paso del tiempo, los
usuarios de una CJ o CCC que hayan recibido atención con suficiente anterioridad serán menos
propensos a que su comportamiento esté condicionado por las posibles emociones que la visita a
dichos centros genere en el corto plazo, lo que permitirá recuperar el efecto de mediano plazo del
servicio propiamente dicho recibido en la CJ o CCC.

La necesidad de contar con dos grupos de tratamiento distintos es que ninguno de ellos por sí solo
permite tener una medida perfecta del efecto de las CJ o CCC sobre los comportamientos que se
quieren estudiar. En el corto plazo el efecto puede estar “contaminado” por emociones y en el
mediano plazo los efectos propios de la atención podrían tender a reducirse u olvidarse
parcialmente. Además, en caso de encontrar diferencias de comportamiento entre sujetos tratados
en el corto plazo (tratamiento 1) y el tratado en el mediano plazo (tratamiento 2) este hallazgo
también puede ser informativo de la capacidad de las CJ o CCC de generar cambios
comportamentales sostenibles en el tiempo.

El reclutamiento de los grupos de tratamiento 1 y tratamiento 2 se hará mediante convocatoria,


utilizando para ello las bases de datos de cada CJ o CCC, que incluyen información sobre antiguos
usuarios así como sus datos de contacto y del tipo de atención recibida. Esto último se utilizará para
estratificar la convocatoria por tipo de atención. De lo contrario, y debido a que la mayoría de los
usuarios de CJ acuden a las comisarías de familia (y en su mayoría son mujeres), se correría el riesgo
de recuperar los efectos de las CJ solamente sobre esta población y no sobre el perfil completo de
usuarios. Por la misma razón una segunda variable de estratificación será el género.

Grupo de Control

En principio habría varias poblaciones que potencialmente podrían constituir el grupo de control.
Por ejemplo, en forma simultánea a la convocatoria de los grupos de tratamiento 1 y 2, se podría
crear un protocolo de reclutamiento de personas con características demográficas similares en los

atención recibida en una CJ o CCC sobre los comportamientos elicitados por los experimentos. Esta distinción es
importante por las razones que se explican en el texto principal.
13 Ver por ejemplo Vargas et al. (2019) que evalúan experimentalmente la estrategia de atención institucional

denominada Unidad Móvil de Atención y Orientación a Víctimas del Conflicto (UMAOV). Se trata de una estrategia similar
a la del Programa Nacional de Casas de Justicia y Centros de Convivencia Ciudadana (PNCJCC) en la medida en que la
UMAOV concentra toda la oferta institucional de justicia a víctimas del conflicto armado en un mismo lugar. A diferencia
del PNCJCC, sin embargo, la UMAOV es móvil y se mueve a través de varios municipios a lo largo del año.

Página 69 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

mismos municipios. En esencia, el grupo de control debe ser lo más parecido posible al grupo de
tratamiento. Supóngase por un momento que fuera posible asignar el tratamiento (la atención por
parte de CJ o CCC) de manera aleatoria. Esto garantiza que la comparación de los comportamientos
de los dos grupos pueda interpretarse como el efecto causal del tratamiento. Sin embargo, en la
práctica no se cuenta con una asignación aleatoria y los sujetos tratados pueden diferir de los
potenciales controles en cuanto a sus características observables y no observables. En particular, el
hecho de que los tratados hayan buscado los servicios de una CJ o CCC puede estar correlacionado
con una serie de características que no necesariamente pueden controlarse seleccionado un grupo
de comparación con base en características demográficas observables a partir de una población de
referencia.

En este sentido, existen dos escenarios posibles.

• Escenario 1: control ideal. En ausencia de asignación aleatoria del tratamiento, el grupo de


control ideal estaría constituido por usuarios de CJ o CCC sobre los que las mediciones
comportamentales se eliciten antes de recibir cualquier asistencia por parte del (de los)
funcionario(s) correspondiente(s). Que el grupo de control surja de individuos que también
se auto-seleccionaron a recibir atención por parte de una CJ o CCC (pero que no la hayan
recibido todavía porque de lo contrario pasarían a ser “tratados”) sería ideal para la
credibilidad del ejercicio experimental. Esto sin embargo genera retos logísticos para la
implementación de los experimentos que se discuten a continuación.

El grupo de control ideal dificulta ostensiblemente la realización de sesiones experimentales


propiamente dichas, en las que varios sujetos participan simultáneamente del experimento.
Esto porque, si bien las CJ tienen un flujo constante de usuarios que se acercan por primera
vez para recibir atención, este flujo ocurre a lo largo de toda la jornada laboral de la
institución por lo que no es común encontrar grupos suficientemente numerosos de
personas esperando ser atendidas de forma simultánea.14 En este contexto, forzar a que
haya sesiones experimentales con un mínimo de personas estaría privando a algunos de los
sujetos (los que llegaron primero a la CJ o CCC) del servicio solicitado durante un lapso
considerable. No se considera que esto sea factible ni tampoco ético. En cambio, y aunque
esto conlleva retos logísticos, es posible realizar los experimentos con cada uno de los
usuarios de manera separada con un procedimiento similar al de una de encuesta. El
siguiente ejemplo ilustra la factibilidad de esta opción.

En la evaluación de operaciones de la política nacional de resocialización, realizada en la


primera mitad de 2019 por una de las firmas que conforma la unión temporal, se llevaron a
cabo experimentos con personas privadas de la libertad (PPL) en varios establecimientos de
reclusión del orden nacional (ERON). Con dichos experimentos se buscó medir altruismo,

14 Algunos de los usuarios primerizos son citados en un día y hora específicos en los casos excepcionales en los que el
funcionario de turno encargado del servicio solicitado no se encuentra presente o no está en condiciones de atender (por
ejemplo por la acumulación de otros casos). Pero esto no es lo usual. En general, las citaciones se dan para audiencias de
conciliación entre un usuario (demandante) no primerizo y otro (demandado) que no ha buscado para sí los servicios de la
CJ o CCC. Por lo demás, la mayoría de los usuarios primerizos son atendidos cuando se acercan a la institución (bien sea
por voluntad propia o por remisión de otra institución como la Policía).

Página 70 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

confianza y honestidad. La premisa fundamental para la implementación de los


experimentos fue la de evitar a toda costa sesiones en las que las PPL interactuasen entre
sí, para así evitar posibles conflictos que pudieran resolverse de forma violenta después de
finalizados los experimentos. En este sentido, cada PPL fue emparejada con un jugador
externo al ERON cuyas decisiones habían sido obtenidas con anterioridad teniendo en
cuenta cualquier posible decisión que la PPL pudiera tomar en cada uno de los
experimentos. En este sentido, aunque en la evaluación descrita se hicieron (por razones de
economías de escala) sesiones grupales con varios sujetos, de facto cada PPL tomó sus
decisiones de forma individual y no hubo interacciones al interior de la sesión. Esto es
equivalente a que cada PPL hubiera hecho una encuesta individual, que es lo que se
propone en este caso.

Por tanto, y por comparabilidad, si bien con los grupos de tratamiento 1 y 2 descritos arriba
podrían eventualmente hacerse sesiones grupales, en este escenario también deberían
implementarse sesiones individuales con los sujetos de tratamiento. De lo contrario, y
aunque las instrucciones y el protocolo sea el mismo, la implementación de los
experimentos en una sesión grupal versus una encuesta individual podría afectar el
comportamiento observado, confundiendo el efecto tratamiento.

Por supuesto, y como queda claro en el ejemplo de los experimentos realizados con PPL,
esto supone contar con un portafolio de decisiones que jugadores anónimos han tomado
con anterioridad y que puedan ser emparejadas con las decisiones de los sujetos
experimentales de tratamiento y control con el fin de generar los pagos asociados a cada
experimento para hacerlos compatibles en incentivos. En el caso de los experimentos
realizados para la evaluación de la política de resocialización estos jugadores anónimos
fueron estudiantes universitarios. Sin embargo, para la implementación de los
experimentos acá propuestos se propone que estas decisiones predeterminadas se
obtengan a partir de una población más parecida, por ejemplo personas de la comunidad
donde se encuentran las CJ o CCC. El por qué de esto tiene que ver con la necesidad de
elicitar las expectativas normativas relacionadas con normas sociales frente a la solución de
conflictos y uso de violencia. Como se especificará más abajo, este ejercicio requiere que a
los sujetos experimentales se les pague de acuerdo a su capacidad de “adivinar” cierta
norma social (es decir qué piensan sus pares sobre cierto aspecto relacionado con las
interacciones sociales). En este sentido, sería un error obtener la norma social de referencia
a partir de las creencias de estudiantes universitarios, por lo que las sesiones previas
deberían hacerse con miembros de la comunidad en los municipios en los que se realicen
los experimentos.

La realización de experimentos individuales que se desprende de contar con el mejor grupo


de control posible (en ausencia de asignación aleatoria a las CJ y CCC) no iría en detrimento
del tamaño de muestra mínimo requerido por cada municipio ni el tamaño de muestra
mínimo total requerido para la evaluación.

Página 71 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

• Escenario 2: sesiones experimentales grupales. Las alternativas al escenario 1 son


subóptimas. Por un lado, privar a quienes se acercan a una CJ o CCC de recibir asistencia en
tanto no se forme un grupo suficientemente grande para poder llevar a cabo la sesión
experimental no es ético. Por el otro, renunciar a este grupo de control y utilizar en cambio
personas de la misma comunidad va en detrimento de la comparabilidad con el grupo de
tratamiento y por tanto de la credibilidad de los resultados. No obstante esto, si el DNP ve
como una condición inamovible la de realizar sesiones experimentales grupales con un
mínimo de participantes, se considera que la segunda alternativa minimiza los costos para
los sujetos experimentales (porque no los obliga a esperar para recibir la atención de la CJ o
CCC). Además, dados los requerimientos de la selección de la muestra para el análisis
cualitativo y la restricción impuesta en el pliego de condiciones de que los experimentos
deben realizarse en los mismos lugares que este análisis, no es posible garantizar la
selección de CJ y CCC que cuenten con un flujo de usuarios suficientemente alto durante el
operativo de campo para completar la muestra requerida para el grupo de control ideal.

En este sentido, el protocolo experimental detallado en esta propuesta trabaja sobre el


supuesto de que se realizarán sesiones experimentales donde el grupo de control estará
compuesto por habitantes del mismo municipio de las personas tratadas y con
características demográficas parecidas. Para garantizar lo anterior la convocatoria se hará
utilizando la última actualización vigente de la base de datos del SISBEN. Esto también
implica que el protocolo aquí propuesto se concentra en sesiones experimentales
tradicionales, donde la interacción se da entre las personas que concurren a la misma
sesión. Sin embargo, se deja abierta la posibilidad de discutir con el DNP si es posible
realizar un piloto del escenario ideal para explorar la posibilidad de ajustarse al mismo y por
ende, hacer los ajustes necesarios al informe metodológico de la evaluación. En ese caso el
diseño y protocolo experimental podrán ajustarse sin problema.

Los juegos específicos implementados para medir los comportamientos prosociales específicos de
esta convocatoria se explican a continuación.

Variables de resultado y experimentos asociados

Confianza y reciprocidad

Para medir confianza y reciprocidad se implementará el “Juego de la Confianza” (Berg et al., 1995).
En este juego dos participantes, que no se conocen entre sí, toman decisiones que afectan las
ganancias de ambos en el juego. Los dos jugadores tienen la misma dotación inicial. El jugador A (JA,
rol del emisor) debe decidir, cuánto de su dotación quiere pasar al jugador B (JB, rol del receptor).
El monto que JA decide transferir se triplica antes de llegarle a JB. Es decir, JB recibe 3 veces lo que
JA le pasó. Acto seguido, JB debe decidir cuánto dinero devolverle a JA. El monto que JB le devuelve
no se triplica.

En este juego simple, en el caso hipotético de que ambos participantes se interesen únicamente por
su propio bienestar, sin tener en cuenta el de la otra persona (recuérdese que son dos
desconocidos), JA le enviaría nada a JB, pues sabe que en caso de enviarle algo JB no le devolvería

Página 72 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

nada (pues solo le preocupa su bienestar), y así cada peso que envíe es un peso menos que se
llevará al final del juego.

Sin embargo, la implementación de este juego en diversos ambientes y con poblaciones muy
distintas arroja consistentemente como resultado que los participantes en el rol de JA envían
montos positivos a JB (entre el 50 y el 65% de su dotación, según Walker y Ostrom, 2002). Además,
confirmando las expectativas que tiene JA al enviar algo, JB suele también devolver montos
positivos.

En la literatura de economía del comportamiento y economía experimental, el monto que JA decide


pasarle JB es interpretado como evidencia de confianza, pues la transferencia positiva indica que JA
confía en que JB devolverá el buen gesto y enviará de vuelta parte de su ganancia (equivalente a su
dotación inicial más el triple de lo enviado por JA). Si JA no confiara en que JB va a compartir con él
las ganancias de eficiencia generadas por la transferencia, no le enviaría nada. Además, mayores
transferencias de JA están asociadas a mayores niveles de confianza.

Por su parte, el monto que JB devuelve es evidencia de reciprocidad positiva15: JB comprende que
JA confió en él al darle parte de su dinero, y siente la necesidad de devolverle el favor.

Estos dos atributos (confianza y reciprocidad) son la columna vertebral de lo que se denomina
capital social, y son fundamentales para el buen funcionamiento de la sociedad. Sin embargo,
dichos atributos no son fáciles de documentar mediante la simple observación de las acciones de
los individuos que conforman la sociedad. Mucho menos son fáciles de medir a través de encuestas,
pues en estas los individuos tienden a responder lo que piensan que el encuestador (o el
investigador) quiere escuchar. Esto es lo que se denomina sesgo de deseabilidad social.

En este sentido, el experimento descrito permite medir los niveles de confianza y reciprocidad de la
población que participa, y por lo tanto la calidad del tejido social.

En cuanto a la implementación específica del juego de la confianza, la propuesta es replicar los


experimentos realizados para la evaluación de operaciones de la política de resocialización. Esto por
al menos dos razones. Primero, esa evaluación mostró la capacidad de poblaciones vulnerables y
con bajos niveles educativos (PPL) de entender ese protocolo específico. Segundo, el protocolo
propuesto limita el conjunto de acciones de JA y de JB y esto facilita su implementación.

Específicamente, el JA del juego de la confianza recibirá una dotación de cinco fichas, y deberá
decidir cuántas fichas va a transferir a otro participante que no ha recibido dotación inicial (JB). Las
fichas transferidas por JA son multiplicadas por tres (x3). El receptor de las fichas triplicadas (JB)
decidirá cuántas de las fichas totales desea transferir de vuelta a JA. Como se mencionó, en esta
situación de interacción estratégica, JB no tiene incentivos a devolver ninguna parte de lo recibido.
Cualquier devolución que haga implica renunciar a una ganancia. Anticipando esto, JA tiene
incentivos para quedarse con la dotación recibida y no enviar fichas. En este contexto, las fichas que

15 En este caso se considera positiva dado que el depositario devuelve más conforme sienta que JA le da un mejor trato.

Página 73 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

JA envía a JB se considera evidencia de confianza. Un participante que envía fichas lo hace porque
confía en que el receptor le devolverá al menos algo del monto recibido.

Como es de interés elicitar tanto los niveles de confianza como los de reciprocidad, cada uno de los
participantes de los grupos de tratamiento y control jugará en cada uno de los roles (JA y JB). Esto
significa que a cada participante se le medirá confianza y reciprocidad.16

Cooperación

Los juegos clásicos para medir cooperación en la literatura de economía experimental son el Juego
de los Bienes Públicos y el Dilema del Prisionero. En el primero de ellos los participantes tienen una
dotación y deben decidir si quieren contribuir parte de ella a un “proyecto” común. El recaudo total
del proyecto genera un rendimiento y se distribuye en partes iguales entre todos los jugadores,
independientemente de su contribución. Por supuesto, entre mayor sea la contribución total mayor
será lo que recibirá cada jugador al final, pero dado que la repartición es independiente del aporte
individual, cada jugador por separado tiene incentivos a no contribuir. El problema está en que sí
todos los jugadores se comportan de acuerdo a estos incentivos individuales, ninguno contribuiría y
el proyecto no lograría ningún recaudo. En este sentido, la porción de la dotación que cada jugador
contribuya es una medida de su propensión a cooperar. Uno de los primeros experimentos del
juego de los bienes públicos es el de Isaac y Walker (1988).

Por su parte, el dilema del prisionero fue sugerido por primera vez por el matemático Albert Tucker
en 1951 (Poundstone, 1992). Se trata de una situación hipotética en la que dos prisioneros son
arrestados por un delito menor, pero se sospecha (aunque no hay pruebas) que también son
culpables de un delito mucho grave. Parafraseando la situación descrita por Tucker: para lograr una
confesión, el inspector de policía decide entonces interrogarlos por separado y ofrecerle a cada uno
un trato: si confiesa la comisión del delito mayor y el otro prisionero no lo hace, la colaboración con
la justicia le dará una pena mínima, aún menor a la que tendría por el delito menor por el cual fue
arrestado. Si confiesa y el otro prisionero también confiesa, ambos tendrán una reducción parcial de
la pena, pero irán a la cárcel más tiempo del que tendrían como condena por el delito menor. Si
ninguno confiesa irán a la cárcel solo por el delito menor.

La disyuntiva es clara, si los prisioneros deciden cooperar entre sí (y por tanto no confiesan) irán a la
cárcel solamente por el delito por el cual hay pruebas y podrán salir en un tiempo corto. Pero si
alguno de los dos, anticipando que su colega no confesará, lo hace, tendrá una pena aún menor,
por lo que tiene incentivos a confesar (es decir a no cooperar). Como este incentivo es igual para
ambos prisioneros es posible que ambos confiesen y vayan a la cárcel más tiempo que si hubieran
cooperado.

16 Es posible realizar una asignación aleatoria de roles durante la sesión, en cuyo caso se mide confianza para la mitad de
los participantes de la sesión y reciprocidad para la otra mitad. Utilizando este procedimiento (y trabajando con el
supuesto de que la muestra de 400 personas se dividiría entre tratamiento y control en partes iguales) se mediría
confianza para 100 personas tratadas y para 100 personas del control y reciprocidad para 100 personas tratadas y 100
personas del control. En cambio, con el procedimiento propuesto se medirá confianza y reciprocidad para 200 personas
tratadas y 200 personas del grupo de control.

Página 74 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Uno de los primeros experimentos del dilema del prisionero es el implementado por Selten y
Stoecker (1986). En su versión más simple cada jugador debe elegir una de dos acciones, en la
práctica equivalentes a cooperar o no hacerlo. Los parámetros del juego deben ser tales que la
estrategia dominante para cada jugador sea la no cooperativa desde el punto de vista de su pago
privado (como en la narrativa original de Tucker o en el juego de los bienes públicos), de forma que
el resultado cooperativo se de sí y sólo si los jugadores tienen preferencias prosociales
cooperativas.

Nótese que el juego de los bienes públicos es equivalente al dilema del prisionero en su versión
simple en el caso de dos jugadores que tienen una dotación inicial y su conjunto de acciones solo
incluye invertir toda su dotación en el proyecto común o no invertir nada. Ese es justamente el
juego propuesto para medir cooperación en el marco de la evaluación del PNCJCCC. Por
comparabilidad con el juego de la confianza descrito anteriormente, en el protocolo propuesto cada
jugador contará con cinco fichas y deberá decidir si las invierte o no. Su pago final estará dado por
la siguiente ecuación:

Pi = Di + r * (D1+D2)

donde Di es igual a 5 si el jugador i decide no invertir e igual a 0 si decide invertir, r es la tasa de


retorno individual y D1+D2 es igual a cero si ninguno invierte, a 5 si solo uno de los jugadores
invierte, o a 10 si los dos invierten.

Se propone jugar con cada uno de los sujetos experimentales (tanto del tratamiento como del
control) dos versiones de este juego. En la primera r = 0.6 y en la segunda r=0.8.

Cuando r = 0.6 el juego en forma normal sería de la forma:

Jugador 2

Invierte No invierte

Invierte 6,6 3,8


Jugador 1
No invierte 8,3 5,5

Cuando r = 0.8 el juego en formal normal sería de la forma:

Jugador 2

Invierte No invierte

Invierte 8,8 4,9


Jugador 1
No invierte 9,4 5,5

Página 75 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

La diferencia entre estas dos versiones (dada por el parámetro r que da cuenta de la tasa individual
de retorno) es que en la primera versión (cuando r = 0.6) hay mayores incentivos a no cooperar con
respecto a la segunda versión. Para ver esto note que en la primera versión si los dos jugadores
cooperan (porque ambos invierten) cada uno recibe 6 fichas, solo una más que si ninguno coopera.
Entretanto, suponiendo que el jugador contrario coopera la ganancia de no cooperar son dos fichas.

En cambio, en la segunda versión si los dos jugadores cooperan cada uno recibe 8 fichas, tres más
que si ninguno coopera. Entretanto, suponiendo que el jugador coopera la ganancia de no cooperar
es solo una ficha. La literatura experimental del dilema del prisionero sugiere que la estabilidad de
comportamiento individual cooperativo a r (el rendimiento marginal per cápita) es un indicador
confiable de las verdaderas preferencias de cooperación de los sujetos (Isaac y Walker, 1988;
Ledyard, 1995; Zelmer, 2003).

La razón por la que se propone implementar las dos versiones del dilema del prisionero/juego de
los bienes públicos es para corroborar la estabilidad de las preferencias prosociales de cooperación
a cambios en los parámetros del juego y, así, identificar claramente el “tipo” de los sujetos tratados
y no tratados.

Normas Sociales

Las normas sociales son el conjunto de normas no escritas que rigen el comportamiento en
sociedad. En la literatura experimental hay dos enfoques preponderantes. El enfoque propuesto
por Cristina Bicchieri (Bicchieri, 2016; Bicchieri y Xiao, 2009) sugiere que para que una persona
decida apegarse al cumplimiento de la norma social se deben cumplir dos condiciones: primero, esa
persona debe considerar que la mayoría de las personas de su grupo de referencia también se
apegarán al cumplimiento de la norma (expectativa empírica); segundo, esa persona debe
considerar que la mayoría de las personas esperan que él se apegue a la norma (expectativa
normativa).

Por otro lado, Krupka y Weber (2013), consideran que una norma social está constituida sobre la
percepción colectiva sobre lo que es o no “apropiado” de determinado comportamiento, es decir,
el grado de aceptabilidad social de una conducta o comportamiento determinado. La norma social
proviene de un acuerdo grupal implícito sobre si determinado comportamiento es aceptable o no.
El poder de la norma social está dado por la voluntad grupal de castigar el comportamiento que sea
considerado inaceptable o premiar el comportamiento aceptable.

Tanto Bicchieri y Xiao (2009) -BX, como Krupka y Weber (2013) -KW diseñaron un método para
elicitar la norma social de forma compatible en incentivos. Si bien el método de KW otorga una
medición más fina y posiblemente es más utilizado en artículos académicos que utilizan
experimentos de laboratorio, la metodología desarrollada por BX resulta más asequible y fácil de
explicar a población no estudiantil.17 Por otro lado, la posibilidad de medir expectativas normativas

17El método de KW considera el conjunto completo de acciones disponibles en una situación determinada y para cada
acción el sujeto puede establecer el grado de aceptabilidad social de la acción considerada. Por su parte, el método de BX
solo establece, para una acción determinada, la predicción del número de personas que eligen esa acción. BX también

Página 76 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

y expectativas empíricas siguiendo el espíritu de BX permite identificar potenciales conflictos entre


ambos tipos de expectativas.18 De existir conflicto, es posible diseñar intervenciones de política para
alinear ambas expectativas, de forma que se pueda tender a un comportamiento social deseable.
Por ejemplo, se puede pensar en intervenciones que provean información acerca de las
expectativas normativas de todos de forma que se puedan corregir las expectativas empíricas y
lograr el cambio en la norma social.

A modo de ilustración, en un estudio reciente en Arabia Saudita se realizó un experimento con 500
hombres casados (Bursztyn et al, 2018). Arabia Saudita es un país muy conservador, donde las
mujeres deben obtener permiso de la persona que tiene su tutela (habitualmente su padre o su
esposo) para poder trabajar fuera del hogar. En el experimento, se le preguntó a los participantes si
estaban de acuerdo con la frase: “En mi opinión, las mujeres deberían tener permitido trabajar
afuera de la casa.” El 87% está de acuerdo con la frase. Cuando se les pide estimar el porcentaje de
hombres casados que están de acuerdo con esa frase, el 75% subestima ese porcentaje. A la mitad
de los participantes se les proporciona información sobre el porcentaje de aprobación de la frase, la
otra mitad es el grupo de control. Quienes reciben la información son más propensos a aceptar un
bono para registrarse en un aplicativo que ofrece servicios de búsqueda de empleo para mujeres.

Este ejemplo muestra que corregir expectativas empíricas que no están alineadas con las
expectativas normativas tiene un efecto (positivo) sobre el comportamiento, siendo una potencial
posibilidad de intervención de política pública. En este sentido, las normas sociales sobre la
utilización de la violencia como forma de resolver conflictos brindan una potencial fuente de
intervención de política que puede ayudar a alinear ambos tipos de expectativas, posiblemente
eliminando prácticas violentas que se perciben como socialmente aceptables pero no lo son.

La elicitación específica de normas sociales relacionadas con la solución de conflictos y el uso de


violencia en y cómo esta puede verse afectada por las CJ o CCC presenta retos de implementación.
En particular, tanto BX como KW elicitan las normas sociales justo después de que los sujetos
terminan un juego experimental específico, y lo hacen frente al comportamiento de los sujetos en
dicho juego. Sin embargo, en el caso de esta evaluación ninguno de los juegos utilizados para medir
confianza, reciprocidad y cooperación permite hacer esto, ya que no conlleva situaciones de
comportamientos violentos. En este sentido, la elicitación propuesta utiliza el método de BX pero es
más parecida al ejercicio que hacen Bursztyn et al. (2018) en el ejemplo de Arabia Saudita. Es decir,
se partirá de una situación hipotética y no de una actividad específica.

indaga sobre si el sujeto considera que elegir esa acción está bien, así como su predicción sobre el número de personas
que consideran que elegirla están bien.
18 Este conflicto ocurre cuando la expectativa normativa va en una dirección, pero la empírica va en la dirección contraria.

Es decir, una persona cree que el comportamiento correcto es la opción A (expectativa normativa), pero espera que la
mayoría se comporte de la forma B (expectativa empírica). En este contexto, por no desviarse de lo que considera que es
el comportamiento común en su grupo de referencia, la persona terminará eligiendo la opción B, pero hubiera adoptado
la opción A.

Página 77 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

En particular, se propone el siguiente ejercicio.19 Primero se le lee a los participantes una situación
hipotética igual o parecida a la siguiente: “Me he peleado con un vecino porque se niega a bajarle el
volumen a la música.20” Los sujetos deben contestar Sí o No.

Segundo, se elicitan las expectativas empíricas frente a la norma social de resolución de conflictos.
Para ello se le pregunta a cada sujeto: “De las X personas que hay en esta habitación, ¿cuántas cree
usted que respondieron que sí?” Dependiendo de su respuesta y de la respuesta correcta (conocida
por el experimentalista) cada sujeto recibirá un pago. Siguiendo a BX, para asegurarse que la
elicitación sea compatible en incentivos, los sujetos recibirán un pago de X pesos (adicionales al
pago recibido de acuerdo al juego y rol elegidos al azar entre el juego de la confianza, el dilema del
prisionero y el juego del ultimátum) si y solo si aciertan la respuesta.21

Tercero, se elicitan las expectativas normativas. Para ello se le pregunta a cada sujeto si cree que
pelearse con un vecino por el volumen de la música -en vez de pedirlo de buena manera o llamar a
las autoridades- es lo correcto. Los sujetos deben contestar Sí o No. Luego se les pregunta
nuevamente: “De las X personas que hay en esta habitación, ¿cuántas cree usted que respondieron
que sí?”. De nuevo, dependiendo de su respuesta y de la respuesta correcta (conocida por el
experimentalista) cada sujeto recibirá un pago equivalente al anterior.

Variable adicional: propensión al conflicto

Una variable de comportamiento adicional a las que se solicitan en los pliegos de condiciones, pero
que se considera relevante para la evaluación, es la propensión individual a las situaciones de
conflicto. Para elicitar esta propensión se propone utilizar el experimento clásico del Juego del
Ultimátum en su variante en la que cada participante adopta ambos roles (Güth et al., 1982). En el
juego del ultimátum el Jugador A (JA) tiene una dotación (D) y debe decidir cuánto de la misma
transferir al Jugador B (JB), que no tiene dotación. El JB debe decidir si acepta o no la oferta de JA. Si
lo hace se implementa la distribución propuesta por JA. Si no lo hace se pierde toda la dotación
inicial y ninguno de los jugadores recibe nada.

En este contexto, un sujeto que juegue en los dos roles (el de JA y el de JB) podrá decidir cuánto
ofrecería como JA (por ejemplo X) y cuánto es lo mínimo que estaría dispuesto a aceptar como JB
(por ejemplo Y). En el paper seminal de Güth et al. (1982), los casos en los que Y+X>D se consideran
como personas propensas al conflicto, ya que sin importar en cuál rol del juego se encuentren, su
demanda sobre la dotación inicial es alta, lo cual hace muy probable que al menos alguna de las dos
situaciones concluya en conflicto (con el rechazo de la oferta y la destrucción de la dotación D). En
cambio, aquellos casos en los que Y+X<D se considera como el de una persona que está dispuesta a

19 Es importante enfatizar que la redacción exacta de la situación hipotética para elicitar las normas sociales de resolución
de conflictos se puede ajustar de acuerdo a la retroalimentación del CTS. El principal objetivo de la propuesta de
redacción incluida en este documento es ilustrativo.
20 Según conversaciones del equipo con diferentes expertos en el funcionamiento de CJ y CCC, ésta es una situación

común por las cual la población busca atención en estas instituciones.


21 Una alternativa sería descontar de estos X pesos una fracción creciente en el tamaño del desvío de la respuesta de cada

sujeto con respecto a la respuesta correcta. Pero esto es muy difícil de explicar en el campo. De nuevo, esta
implementación sigue la de BX.

Página 78 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

sacrificar bienestar (en este caso representado como su parte de la dotación) para evitar el
conflicto. En el marco de la evaluación de los efectos del PNCJCCC sobre el comportamiento de las
personas, se considera relevante indagar sobre la propensión al conflicto de los tratados respecto a
la propensión al conflicto del grupo de control.22

Por consistencia con los juegos arriba propuestos para medir confianza, reciprocidad y cooperación,
en este caso la dotación sería de 5 fichas y el conjunto de acciones de los sujetos experimentales en
el rol de JA (JB) sería una transferencia (un umbral de aceptación) de 0, 1, 2, 3, 4 o 5 fichas. Una
ventaja de esta parametrización (adicional a la consistencia entre juegos) es que ofrecer la mitad
del total (2.5 fichas) no hace parte del conjunto de acciones, lo que obliga a la gente a pensar sus
decisiones (en vez de usar una “rule of thumb” común en este juego que es transferir la mitad) y,
además, facilita posibles situaciones en las que el mínimo de aceptación sea mayor a la
transferencia.

Implementación

De la descripción anterior se desprenden detalles de la implementación de los experimentos que


vale la pena resumir.

Primero, se propone tener dos grupos de tratamiento, a saber:

● Tratamiento 1: usuarios de una CJ o CCC que hayan recibido atención recientemente.


● Tratamiento 2: usuarios que hayan recibido atención con suficiente anterioridad.

Para el tratamiento 1 se propone convocar usuarios de CJ o CCC de las últimas dos semanas y para
el tratamiento 2 se propone convocar usuarios después de al menos un mes de su visita. Estos
umbrales de tiempo son flexibles y pueden ajustarse. La convocatoria se hará usando las bases de
datos de las CJ y CCC y se estratificará por tipo de atención obtenida y por género.

Por su parte, el grupo de control estaría en principio compuesto por personas del mismo municipio
reclutadas usando la última actualización de los listados de SISBEN y con características
demográficas lo más parecidas posible a los tratados. Idealmente, sin embargo, el grupo de control
serían usuarios que puedan participar de los experimentos antes de recibir el servicio de la CJ o
CCC, pero esto dificultaría hacer sesiones grupales. Se espera realizar una discusión profunda en
este aspecto con el CTS en caso de ser esta propuesta la ganadora.

Segundo, y dado que el tratamiento está dado por recibir atención en una CJ o CCC, la inferencia se
hará entre sujetos (comparando personas del grupo del tratamiento con personas del grupo de
control) y no intra-sujetos (comparando el comportamiento de una misma persona en dos
condiciones: una de tratamiento y otra de control).

22 Además, el juego del ultimatum también sirve para elicitar la “reciprocidad negativa” del receptor, si es que este
rechaza ofertas distintas de cero al considerarlas injustas por ser demasiado bajas. Este tipo de reciprocidad también
puede informar sobre la propensión al conflicto.

Página 79 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tercero, y debido a que deben realizarse varios juegos (Confianza en los dos roles, dos versiones del
Dilema del Prisionero y Ultimátum en los dos roles) y la actividad de elicitación de normas sociales,
todos los juegos serán “one-shot” (es decir no habrá repeticiones). Además, las repeticiones
capturan también efectos de “aprendizaje” en el comportamiento, que pueden “contaminar” los
efectos de los incentivos propiamente dichos que impone cada juego.

Cuarto, en caso de hacerse sesiones experimentales (es decir si no se acepta la propuesta del
control ideal) el emparejamiento de sujetos al interior de cada sesión será del tipo “random
matching” (es decir emparejamiento aleatorio de sujetos de una misma sesión).

4.2.2. Variables de interés, enfoque, estorbo y aislamiento de variables

El objetivo de la presente propuesta es evaluar el efecto de recibir atención en una CJ o CCC sobre
el comportamiento de las personas en cuanto a confianza, reciprocidad, cooperación y normas
sociales frente a la solución del conflicto. Adicionalmente, como ya se expuso en el punto anterior,
se agrega una variable de resultado adicional, propensión al conflicto. Para poder realizar esta
evaluación es necesario contar con un grupo de control, que no haya recibido atención en ninguna
de estas instituciones.

En este sentido, las variables de resultado son: confianza, reciprocidad (positiva), cooperación,
normas sociales frente a la solución del conflicto y propensión al conflicto. Todas estas variables se
medirán para cada persona que participe en las sesiones experimentales.

Tal y como se expuso en el punto anterior, los grupos de tratamiento serán dos: las personas
tratadas hace 2 semanas o menos (tratamiento 1, de corto plazo) y las personas tratadas hace un
mes o más (tratamiento 2, de mediano plazo). Adicionalmente, habrá un grupo de control, la
escogencia del cual se expuso en detalle en el punto anterior junto con las ventajas y desventajas
de dos alternativas posibles para ello.

En cuanto a las variables de estorbo, como primera medida, es necesario comparar los sujetos de
los dos tratamientos entre sí, y los de cada uno de ellos con los del grupo de control. Esta
comparación solo puede hacerse en términos de características demográficas y socioeconómicas
observables o auto reportadas en encuesta. Estas características, para los grupos de tratamiento,
serán obtenidas de las bases de datos de las CJ y CCC y de una encuesta corta que se le haga a cada
individuo.23 Para el grupo de control serán obtenidas de la base del SISBEN y de una encuesta
equivalente a la de los tratados. Una vez hecha esta comparación se identificarán las variables
estadísticamente distintas entre grupos. En las regresiones se debe controlar por estas variables de
estorbo.

Por otro lado, al realizarse varios juegos en una misma sesión, una fuente adicional de variable
estorbo es potencialmente la secuencia en que se realicen los juegos. Esta podría afectar el

23En ella se harán preguntas sobre la participación en la CJ o CCC (tipo de atención recibida -solo para los tratados), una
pregunta sobre aversión al riesgo (validada por Dohmen et al., 2011), confianza en las instituciones y en otras personas y
capital social (participación en organizaciones cívicas o políticas).

Página 80 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

comportamiento en cada situación. Es decir, puede suceder que las decisiones en el juego de la
confianza sean diferentes si el juego de la confianza es el primer juego de la sesión o si antes de
este juego se toman las decisiones en el dilema del prisionero. Para controlar esta fuente de ruido
potencial se propone implementar dos secuencias diferentes, como se explicará en el punto
siguiente.

Una tercera fuente potencial de estorbo es que la sesión sea muy larga y los participantes terminen
cansados, generando carga cognitiva en ellos que se puede traducir en falta de atención y pérdida
de relevancia de los pagos monetarios al momento de tomar las decisiones. El protocolo propuesto
es lo más sencillo posible, siguiendo el modelo ya utilizado con PPL en una evaluación pasada que
proporcionó resultados exitosos.

Por último, se debe tener en cuenta que las características ambientales, específicas a cada uno de
los ocho municipios donde se llevarán a cabo los experimentos, podrían también constituir
variables de estorbo. Para controlar esta fuente de estorbo se incluirán efectos fijos de municipio
en el análisis empírico.

En el punto siguiente se detalla cómo se llevarán a cabo las sesiones experimentales, pero a modo
de adelanto, no habrá interacción ni retroalimentación sobre los resultados de los juegos sino hasta
el final de la sesión.24 En este sentido, la unidad de observación cada individuo (tratado y de
control).

4.2.3. Protocolos Experimentales

Como se explicó en el punto anterior, una posible variable estorbo es el hecho de que, a fin de
medir las variables de resultado de interés para esta evaluación, los participantes de las sesiones
experimentales deban tomar decisiones en más de un juego. A fin de controlar este estorbo, se
considera la posibilidad de implementar dos secuencias de juego diferentes.

La naturaleza de los juegos propuestos tiene una diferencia fundamental. El dilema del prisionero
es un juego estático, el desafío de este juego es que los participantes entiendan que si bien el
resultado depende de las decisiones que tomen dos personas diferentes, al momento de decidir,
cada jugador desconoce la acción elegida por su contraparte. El juego del ultimátum y el juego de la
confianza son juegos secuenciales, donde el jugador que mueve primero sabe que su contraparte
decidirá luego de haber observado su acción. Por otro lado, mientras la acción del receptor en el
juego del ultimátum es dicotómica (aceptar o rechazar), en el juego de la confianza el conjunto de
acciones posibles del receptor es continuo (del monto recibido, debe elegir cuánto devolver). En
este sentido, las secuencias propuestas sólo alteran la posición del dilema del prisionero en la
temporalidad de la sesión.

24Es decir, durante el desarrollo de la sesión experimental los participantes no recibirán información sobre los resultados
de las actividades finalizadas, de forma que los resultados de los juegos previos no puedan afectar el comportamiento en
los juegos siguientes.

Página 81 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Por esta razón, en la primera secuencia el dilema del prisionero será el primero en realizarse,
mientras que en la otra será el tercero. La elicitación de las normas sociales se realizará en todos los
casos al final de la sesión, ya que es un juego de coordinación, donde la interacción estratégica es
menos evidente para los participantes. El juego del ultimátum siempre se realizará primero que el
juego de la confianza para facilitar la explicación de los juegos a los sujetos.25

Secuencia 1

1. Dilema del prisionero:


a. Incentivos a desviarse
b. Incentivos a cooperar
2. Ultimátum:
a. Rol del oferente
b. Rol del receptor
3. Juego de la Confianza:
a. Rol del emisor
b. Rol del receptor
4. Elicitación de Normas Sociales

Secuencia 2

1. Ultimátum:
a. Rol del oferente
b. Rol del receptor
2. Juego de la Confianza:
a. Rol del emisor
b. Rol del receptor
3. Dilema del prisionero:
a. Incentivos a desviarse
b. Incentivos a cooperar
4. Elicitación de Normas Sociales

La sesión experimental comenzará con unas instrucciones generales donde se explicará la dinámica
de la sesión, se hará explícito que la sesión tiene cuatro secciones independientes y que sólo
conocerán la situación específica de cada una a medida que la sesión avance. Es decir, al inicio se
explica el primer juego, se toman las decisiones correspondientes a ese juego y una vez concluida
esa actividad se explica el segundo juego y así sucesivamente. Durante el desarrollo de la sesión
experimental los participantes no recibirán información sobre los resultados de las actividades
anteriores, de forma que los resultados de los juegos previos no puedan afectar el comportamiento
en los juegos siguientes.

25Esta estrategia de implementación en la que se realiza primero el juego que es más sencillo de explicar se aplicó en los
experimentos con PPL y en el de la evaluación del Programa Familias en Acción y se obtuvo en ambos casos buenos
resultados. En este sentido se le da mayor peso a garantizar la comprensión del juego que a controlar la variable estorbo
de secuencia de los juegos.

Página 82 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Por último, se pagará únicamente una actividad, elegida al azar. Esto garantiza que los participantes
tomen sus decisiones en cada juego de manera independiente. Si la implementación fuera
diferente, existe la posibilidad de que los participantes consideren toda la situación experimental
como un supra-juego, lo que podría afectar el comportamiento en cada sección, afectando
directamente la medición de cada una de las variables de interés.

Los juegos se expusieron detalladamente en el punto 1. Todos los juegos se presentarán en un


marco neutral. Es decir, las instrucciones no mencionarán confianza, cooperación, normas sociales
ni conflicto. La dotación inicial en cada juego será de 5 fichas. El valor propuesto para cada ficha es
de 5.000 pesos.

● En el dilema del prisionero cada participante tiene la dotación inicial de 5 fichas y debe
decidir entre invertir todas sus fichas o no invertir en el proyecto común (cooperar o no
cooperar).
● En el juego del ultimátum cada participante deberá decidir cuántas de las 5 fichas ofrecer al
receptor (que no tendrá dotación inicial).
● En el juego de la confianza cada participante deberá decidir cuántas fichas pasarle al
receptor, quien recibe el monto triplicado y podrá devolver todas, parte o nada de las fichas
recibidas.
● Nota: Para el juego del ultimátum y el juego de la confianza, cada participante decidirá
también en el rol del receptor.
○ En el juego del ultimátum cada participante debe establecer si acepta o rechaza
cada una de las ofertas posibles.
○ En el juego de la confianza, cada participante decidirá cuánto devolver para cada
monto recibido posible (0, 3, 6, 9, 12 o 15 fichas).
○ La implementación de esta forma, conocida como el “método de la estrategia” o
strategy method (Brandts y Charness, 2011), proporciona información más
completa sobre las preferencias de los participantes que el método directo.
Supóngase el caso en el que un emisor en el juego de la confianza decide no enviar
nada al receptor. Si se utilizara el método directo, para esa pareja se tendría
medición de confianza para el emisor, pero no se tendría medición de reciprocidad
para el receptor, ya que al no recibir nada, no puede devolver nada. Por otro lado,
el método directo en el rol del receptor permite medir confiabilidad (ante una
transferencia positiva, el receptor devuelve parte de lo recibido o no), pero no
permite medir reciprocidad (a mayor transferencia, mayor devolución).26
● Como se explicó anteriormente, para la medición de normas sociales se utilizará el método
de Bicchieri y Xiao (2009), mediante el cual se medirán expectativas empíricas y normativas
de forma compatible en incentivos.

Una vez que todos los participantes hayan tomado sus decisiones en cada una de las 4 actividades
se elegirá al azar, de forma transparente para los participantes, la actividad que determinará los
pagos de la sesión. Luego, mientras los participantes completan una encuesta post-experimento

26
Blanco et al. (2011) implementaron el juego del ultimátum con el rol del Jugador B tomando decisiones con el “strategy
method” y mostraron que los resultados son equivalentes con los conseguidos en juegos del ultimátum tradicionales.

Página 83 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

(que recogerá variables sociodemográficas para utilizar como control en las regresiones), el equipo
de campo realizará el emparejamiento aleatorio, la selección de roles al interior de cada pareja y de
acuerdo a las decisiones de cada miembro de la pareja determinará los pagos y completará la ficha
correspondiente para proporcionar retroalimentación sobre lo ocurrido en el juego seleccionado a
fin de que cada participante entienda cómo se determinaron sus ganancias.

Se realizarán 2 o 3 sesiones de entre 20 a 26 participantes por municipio, en los 8 municipios


elegidos para todo el estudio, hasta completar al menos 400 participantes. El número total de
sesiones no será menor de 20. El mínimo en cada municipio serán 2 sesiones de 16 participantes
cada una, lo que quiere decir que cada municipio tendrá al menos una sesión con individuos de
control27. Todas las interacciones son en pareja, en consecuencia, las sesiones debe tener un
número par de participantes.

Como se explicó en el punto 1, habrá un grupo de control y dos grupos de tratamiento. A fin de
poder realizar comparaciones entre los tres grupos, se intentará que ambos queden balanceados en
cuanto a número de participantes en cada condición. Es decir, el objetivo es tener 135 participantes
en cada uno de los tres grupos.

Las decisiones de los participantes y toda la información proporcionada por ellos será confidencial y
anónima. El único momento de la sesión en la que se darán a conocer las decisiones tomadas por
ellos será al final, cuando se proporcione información sobre los pagos, pero en ningún caso se
revelará la identidad de la contraparte. En el caso de la elicitación de normas sociales, únicamente
se dará a conocer el comportamiento agregado de los miembros de la sesión.

Las sesiones se llevarán a cabo en papel y lápiz. Tal como se aplicó en el caso de las PPL, el diseño
minimizará la necesidad de escribir y se limitará a marcar opciones que serán explicadas con
ejemplos en un tablero. De todas formas, en caso de que algún participante necesite asistencia, el
equipo de implementación en campo podrá ayudarlo a completar cada ficha de decisión en forma
privada y cumpliendo con los estándares de anonimato y confidencialidad.

Las sesiones deben realizarse en un salón cerrado, idealmente silencioso, donde los participantes
puedan poner atención sin tener distracciones externas. Cada salón debe tener al menos 28 28 sillas
(ojalá cada silla pueda tener su escritorio, en caso contrario cada participante tendrá una tabla de
apoyo que le servirá para un diligenciamiento correcto) y una mesa grande donde el equipo de
campo pueda depositar todo el material que se irá entregando a los participantes a medida que la
sesión se desarrolle. El espacio entre sillas debe ser considerable, a fin de garantizar
confidencialidad (cada participantes debe estar seguro de que nadie podrá ver su ficha de decisión)
y evitar comunicación entre los participantes.

27 Las sesiones entre grupos tratamiento y grupos de control estarán distribuidas así: un conjunto de 4 municipios con 3
sesiones (tratamiento 1, tratamiento 2, control), y un conjunto de 4 municipios distintos con al menos dos sesiones
(tratamiento 1 o tratamiento 2, control).
28 2 más que el máximo posible, para uso del equipo facilitador.

Página 84 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

4.2.4. Plan de Análisis

El análisis empírico consiste en comparar las medidas comportamentales elicitadas para los
individuos tratados con las elicitadas para los del grupo de control. Como primera medida se
implementarán test no paramétricos para hacer una caracterización descriptiva de las
comparaciones relevantes. En particular, se implementarán los siguientes test:

• El test Wilcoxon o Mann and Whitney (MW) contrasta la hipótesis de que dos muestras
provienen de poblaciones con la misma distribución (Wilcoxon 1945; Mann and Whitney
1947).
• El test de Kruskal-Wallis (KW) es una generalización del MW pero permite realizar
comparaciones entre tres distribuciones o más de forma simultánea. Así, la ventaja de este
test es que permitirá comparar simultáneamente a los dos tratamientos con el grupo de
control.

Los test descritos permiten hacer una caracterización descriptiva de los datos “crudos” de los
experimentos. Esto es, ellos permiten controlar por posibles variables de estorbo. Por ello se
complementarán con las siguientes especificaciones paramétricas:

• La especificación empírica de base será la siguiente:

Y_i = a + b1 x T1_i + b2 x T2_i + e_i (1)

donde Y_i es la variable de resultado de interés, medida para el individuo i en la sesión s, T1_i
(T2_i) es un indicador de si el individuo i en la sesión s pertenece al tratamiento 1 (tratamiento
2) correspondiente al corto plazo (largo plazo), y e_i es el término de error. Como cada sesión
tendrá solamente sujetos tratados o de control no se pueden agrupar los errores por sesión. 29
Así, los errores serán robustos. b1 (b2) es el coeficiente asociado a T1_i (T2_i).

• Una segunda especificación controlará por las posibles variables de estorbo mencionadas
anteriormente:

Y_is = a + b1 x T1_is + b2 x T2_is + b3 x I[s=1] + X_is’ x c + e_is (2)

donde I[s=1] es un indicador de si la secuencia de los juegos es la primera secuencia de las dos
propuestas anteriormente.30 Por su parte, X_is es un vector de variables de estorbo y c es un
vector de coeficientes asociados a las mismas. El resto de la notación es equivalente al de la
ecuación (1).

29Tampoco se pueden agrupar por municipio porque las sesiones experimentales se harán solamente en 8 municipios.
30Nótese que esta especificación incluye un subíndice s que denota la sesión. Esto se hace con el fin de identificar la
secuencia de juegos, que será específica a cada sesión.

Página 85 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

• Una tercera especificación incluirá efectos fijos de municipio. Al comparar los sujetos de
tratamiento y de control al interior de cada uno de los ocho municipios, esta especificación
controla por cualquier característica municipal que varíe entre municipios y que, bien sea
observada o no, no varíe en el tiempo.

Y_ism = _m + a + b1 x T1_ism + b2 x T2_ism + b3 x I[s=1] + X_ism’ x c + e_ism (3)

donde _m indica el efecto fijo de municipio, que es equivalente a incluir una variable
dicotómica igual a 1 para cada uno de los ocho municipios de la muestra.31

• Finalmente, habrá una especificación que servirá para explorar efectos heterogéneos de los
tratamientos sobre las variables de resultado. Suponga que Z_i (o Z_is o Z_ism) es un
indicador que identifica una característica individual determinada, como el sexo del
individuo i o si se trata de una persona joven. En este caso se puede explorar si el efecto de
cada uno de los tratamientos T sobre la variable de resultado Y es diferencial (es decir
mayor o menor) para los sujetos con la característica de interés Z. Sin pérdida de
generalidad se ilustrara la regresión propuesta con la especificación más sencilla, descrita
en la ecuación (1).

Y_i = a + b1 x T1_i + b2 x T2_i + b3 x (T1_i x Z_i) + b4 x (T2_i x Z_i) + e_i (4)

donde la interacción del indicador de cada tratamiento con Z identifica el efecto diferenciado
para los sujetos para los cuales Z_i = 1, y el indicador de tratamiento no interactuado identifica
el efecto promedio para los sujetos para los cuales Z_i = 0.

Al comparar los niveles promedio de cooperación, confianza, reciprocidad, propensión al conflicto y


expectativas normativas con respecto a normas sociales frente a la resolución de conflictos,
controlando por el sesgo que podrían sumar todas las variables de estorbo mencionadas, este plan
de análisis permite responder a la pregunta orientadora número 9, que es la más relevante para los
experimentos propuestos. La pregunta es: “¿De qué manera ha contribuido la presencia de las CJ o
CCC en sus territorios a mejorar los niveles de confianza, reciprocidad, cooperación y normas
sociales frente a la solución de conflictos y uso de violencia por parte de los miembros de la
comunidad?”32.

4.2.5. Plan de Implementación

De acuerdo con los requerimientos del Pliego de Condiciones deben realizarse como mínimo 20
sesiones experimentales. Además, dichas sesiones deben distribuirse entre grupos de tratamiento y

31 Nótese que esta especificación incluye un subíndice que denota el municipio. Esto se hace con el fin de identificar el
efecto fijo municipal
32 En el planteamiento metodológico del anexo técnico se incluye la pregunta “¿Cuáles son los cambios en los niveles de

confianza, reciprocidad, cooperación y normas sociales frente a la solución de conflictos y uso de violencia por parte de los
miembros de la comunidad como consecuencia directa o indirecta, de la presencia de las CJ o CCC en sus territorios? ¿Qué
efectos ha generado el Programa en la población que atiende?”, la cual se considera equivalente a la pregunta 9.

Página 86 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

control. Es importante aclarar que cada una de las sesiones debe llevarse a cabo únicamente con
miembros de cada uno de esto grupos. Es decir, no deben mezclarse miembros de diferentes
grupos de una misma sesión. Cada sesión contará con la participación de al menos 16 participantes.
No se recomienda hacer sesiones demasiado grandes para no complicar la logística del experimento
(más de 26 personas). Sin embargo, se convocará una muestra mayor (de al menos 30) con el
propósito de asegurar la participación mínima requerida. Si llega un número superior a los 26
participantes se permitirá la entrada al salón de los primeros 26 en llegar y al número restante, si
llega a tiempo, se le dará un reconocimiento en dinero (“show up fee”) de 10.000 pesos.

Duración de las sesiones

Se calcula que cada sesión durará máximo 120 minutos. Este tiempo incluye las siguientes etapas:

i. Llegada y recepción de los participantes


ii. Ubicación de los participantes en el recinto
iii. Firma de las formas de consentimiento informado
iv. Lectura de las instrucciones generales
v. Preguntas de control para verificar el entendimiento
vi. Realización del primer juego
vii. Realización del segundo juego
viii. Realización del tercer juego
ix. Realización del cuarto juego
x. Cuestionario final
xi. Selección final de las rondas para pagos y cálculo de los mismos
xii. Pago a los participantes y finalización de la sesión

Naturalmente, las pruebas piloto son fundamentales para determinar si todas estas actividades
pueden llevarse a cabo en dos horas de juego. En caso de que el piloto arroje sesiones de más de
dos horas se puede ajustar algunas cosas en el protocolo. Por ejemplo, podría reducirse el
cuestionario.

Número de rondas por juego y secuencia de los mismos

Como se mencionó anteriormente, en principio, se propone que cada uno de los juegos se juegue
una vez en cualquiera de las dos secuencias que se implementarán:

Secuencia 1

1. Dilema del prisionero:


a. Incentivos a desviarse
b. Incentivos a cooperar
2. Ultimátum:
a. Rol del oferente
b. Rol del receptor
3. Juego de la Confianza:

Página 87 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

a. Rol del emisor


b. Rol del receptor
4. Elicitación de Normas Sociales

Secuencia 2

1. Ultimátum:
a. Rol del oferente
b. Rol del receptor
2. Juego de la Confianza:
a. Rol del emisor
b. Rol del receptor
3. Dilema del prisionero:
a. Incentivos a desviarse
b. Incentivos a cooperar
4. Elicitación de Normas Sociales

Como ya se mencionó, hacer las dos secuencias es importante para controlar por cualquier efecto
que pueda tener sobre el comportamiento el orden en el que se lleven a cabo los juegos.

Espacio físico

Dado que los experimentos son de laboratorio en el campo y no en una institución en particular, no
se requiere salas de computador para llevar a cabo las sesiones, como suele ocurrir con los
experimentos exclusivamente de laboratorio. En su lugar, se requiere de un espacio físico cerrado,
tipo salón comunal o de clases, para adelantar las sesiones. Dichos espacios deberán contar como
ya se mencionó con un número suficiente de sillas, y en la medida de lo posible, mesas o pupitres
individuales, para que los participantes puedan tomar sus decisiones sin distracciones.
Adicionalmente, dado que los juegos propuestos son no-cooperativos, es ideal que exista una
distancia lo suficientemente amplia entre los participantes, para que estos no puedan ver las
decisiones de los demás participantes. Esta necesidad puede suplirse creando divisiones entre los
jugadores, por ejemplo, por medio de cubículos de cartón que separen los unos de los otros. Si no
es posible adecuar el espacio físico de esta manera, al menos se debe garantizar que la distancia
entre unos y otros sea lo suficientemente amplia y que el facilitador del experimento esté atento a
la no comunicación entre ellos.

Estrategia de convocatoria para garantizar la asistencia

La estrategia para la convocatoria de los participantes es crucial en este experimento. En este caso
se contará con los datos de contacto de los integrantes de cada grupo, pues esta información se
puede recuperar de los registros administrativos del programa y de los datos del Sisben. Si por este
canal no se puede reclutar a una persona específica por motivos de fuerza mayor, ésta se
descartará el registro y se remplazará por otra, siempre respetando la técnica de emparejamiento
descrita arriba para llevar a cabo el muestreo.

Página 88 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

En este punto vale la pena recordar que los experimentos comportamentales implican una
importante remuneración económica, que incluye un pago simplemente por asistir ($10.000 COP) y
un monto adicional que depende del desempeño en los juegos. Con un valor esperado de $30.000
COP, la remuneración estaría por encima del salario mínimo diario vigente, lo cual debe generar
incentivos para que los individuos participen en los experimentos. Más adelante se discuten las
estrategias para atender los desafíos de pérdida de muestra.

Material de apoyo: lápiz y papel y/o tabletas

No existe consenso respecto a cómo deben llevarse a cabo los experimentos de laboratorio en el
campo. Dada la simplicidad de los experimentos propuestos, la sugerencia es llevarlos a cabo de dos
formas: a lápiz y papel o por medio de tabletas. A continuación, se describen los pros y los contras
de cada estrategia.

Con este tipo de poblaciones, quizás el método más utilizado es el del lápiz y papel. La explicación
de los juegos se hace de manera verbal y las instrucciones deben reproducirse por escrito y estar a
disposición de los participantes toda vez que estén jugando. Para aquellas personas que no pueden
leer o escribir, se dispondrá de personal de apoyo (dupla de facilitadores). Esto es viable, toda vez
que, en los cuatro juegos, al momento de participar, lo único que los jugadores deben hacer, por lo
general, es decidir sobre un número de fichas. Por ejemplo, en el juego del ultimátum, el jugador 1
debe decidir cuántas fichas le transfiere al jugador 2. Es decir, en todos los casos, la decisión es
bastante simple y puede consignarse fácilmente en una hoja de papel dispuesta para ello.

Se deberá tener especial cuidado para que dichas hojas tengan un indicador numérico
(anonimizado) de cada participante; esto con el objetivo de llevar el registro de las decisiones de
cada quien, y, por ende, poder calcular cuánto recibe de pago cada participante al final de cada
ronda. Así, por ejemplo, en el juego del ultimátum, tras leer las instrucciones del juego, cada
jugador A debe consignar su decisión en un papel que es recogido por el personal de apoyo. Estos le
informan (también por escrito o verbalmente a quienes no sepan leer) al respectivo jugador B,
acerca de la decisión de su pareja. Acto seguido, los jugadores B consignan su decisión de aceptar o
rechazar la oferta del jugador A también en una hoja que es recogida por el personal de apoyo.
Estos determinan el resultado final del juego. Luego, se procede a la siguiente ronda, y así
sucesivamente para cada juego.

La estrategia de llevar a cabo el juego utilizando lápiz y papel es muy popular en el campo, aunque
por supuesto, puede implicar demoras en la ejecución de este. Una segunda posibilidad es llevar a
cabo el juego en tabletas. Usando el programa oTree (ver https://www.otree.org/) se podrían
programar los cuatro juegos que son de interés de esta evaluación. De hecho, los cuatro juegos ya
están programados en esta plataforma, y sería cuestión de adaptarlos al contexto de la evaluación.
Todo esto es simple porque los juegos se programan en Python y ya fueron adaptados con éxito
para la evaluación del Programa Familias en Acción realizada por la actual Unión Temporal (UT).

De esta manera, cada jugador estaría conectado al juego a través de una tableta, y el software se
encarga de formar las parejas o los grupos e ir mostrando las pantallas en las que se deben tomar

Página 89 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

las decisiones. Incluso, el software se encarga de elegir las rondas que al azar determinan los pagos
finales para cada jugador. Además, los datos de interés (las decisiones) ya quedan digitalizados,
pues el programa entrega una base al final de cada sesión. Por supuesto, automatizar de esta
manera la logística de los experimentos es muy útil y ahorra tiempo. No obstante, tiene algunas
dificultades dado que es necesario que las tabletas estén conectadas entre sí por medio de una red
de internet, algo que puede ya fue probado en campo por la UT y que es fácilmente solucionable
con un router propio. Además, exige mayores capacidades de parte del personal de apoyo, pero
esto puede solucionarse a través de capacitaciones.

Por estas razones, la UT sugiere como primera opción, llevar a cabo el experimento a lápiz y papel.
En todo caso, queda abierta la posibilidad de hacer los experimentos con tabletas siempre que sea
posible, si el CTS así lo considera pertinente. La UT cuenta con los recursos físicos y las habilidades
de programación y la experiencia para que los experimentos se hagan con los más altos estándares
de calidad en ambas formas.

Finalmente, el reclutamiento de los grupos de tratamiento 1 y tratamiento 2 se hará mediante


convocatoria, utilizando para ello las bases de datos de cada CJ o CCC, que incluyen información
sobre antiguos usuarios así como sus datos de contacto y del tipo de atención recibida. Esto último
se utilizará para estratificar la convocatoria por tipo de atención. De lo contrario, y debido a que la
mayoría de los usuarios de CJ acuden a las comisarías de familia (y en su mayoría son mujeres), se
correría el riesgo de recuperar los efectos de las CJ solamente sobre esta población y no sobre el
perfil completo de usuarios. Por la misma razón una segunda variable de estratificación será el
género.

Retos y desafíos: spillovers, attrition y non-compliance

No cabe duda de que el procedimiento descrito arriba, para la definición de la muestra de


individuos a ser invitados a participar, no está exento de retos y desafíos. En particular, existen
dificultades en materia de contaminación (spillovers), pérdida de muestra (attrition) y falta de
cumplimiento (non-compliance). A continuación, se describen en detalle cada uno de estos desafíos
y la subsiguiente estrategia que se propone para atender el reto.

Contaminación

Es importante recordar que los juegos descritos, con los que se busca medir las variables de interés,
son no-cooperativos. Esto significa que los jugadores toman sus decisiones de manera
independiente, sin comunicarse con los demás jugadores y sin observar sus decisiones presentes.
Por tanto, cualquier desviación de este protocolo puede generar problemas de contaminación. Pero
resolver este riesgo es sencillo: la infraestructura y la logística empleadas en las sesiones deben
impedir que los sujetos se comuniquen entre sí, o puedan enterarse de las decisiones simultáneas
que toman otros participantes.

Página 90 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Pérdida de Muestra

La pérdida de muestra, o el attrition, no corre por cuenta de no poder contactar a los participantes
en diferentes momentos del tiempo. Esto no es un problema ya que esta evaluación no tiene línea
de base. No obstante, podría ocurrir que se seleccionen individuos para que participen en los
experimentos y que estos no se presenten. Por supuesto, esto sería inconveniente en tanto la
muestra se reduciría, generando problemas de eficiencia estadística y sesgos. Tres estrategias
ayudarán a prevenir este problema. Primero, es clave utilizar canales eficientes de comunicación
con los invitados (tratamientos y controles). Además de usar los datos de contacto, las personas a
cargo de las CJ o CCC son cruciales en esta tarea. Segundo, es necesario utilizar los registros
administrativos más actualizados posibles. Tercero, en la convocatoria se mencionará que hay un
incentivo monetario para quienes participen.

Sobre este último punto, es fundamental que los experimentos sean rentables económicamente
para los participantes. Para esto, como se mencionó anteriormente, se propone un pago por
asistencia de $10.000 COP, y un pago total promedio por participar de al menos $30.000 COP. Es
importante comparar esta medida contra el salario mínimo diario vigente en Colombia, por lo que
una remuneración de $30.000 por aproximadamente 2 horas de participación resulta rentable para
las personas de estos tres grupos. Finalmente, para garantizar que a cada sesión lleguen al menos
16 participantes requeridos, la práctica habitual en los experimentos de laboratorio y de la
experiencia que tiene de la evaluación del Programa Familias en Acción, es invitar a más personas
de las requeridas, en el caso de esta evaluación fue de 50% adicional. Para el caso de esta
evaluación, dado que se necesitan mínimo 16 participantes, se espera confirmar al menos 30
personas que hayan sido elegidas para participar. En caso de que lleguen más, o que llegue un
número impar de participantes, a los sobrantes se les pagará los $10.000 COP del pago por asistir,
se les agradece por su tiempo y se les pide que se retiren. En cualquier caso, dadas las condiciones
económicas de esta población, es de esperar que los niveles de no-asistencia sean más bajos que en
los experimentos de laboratorio convencionales.

Incumplimiento

Existe incumplimiento (non-compliance) cuando miembros del grupo de tratamiento no lo reciben,


o cuando miembros del grupo de control terminan siendo tratados. En este caso, existiría
incumplimiento si personas que están en la base de datos no participan del programa, o si no-
beneficiarios se han beneficiado o han asistido a una CJ o CCC. Los registros administrativos son
fundamentales en este caso, para no clasificar incorrectamente a ningún participante, pero más
aún, su confirmación en el momento de agendarlos para los experimentos. Todas estas estrategias
deben implementarse una vez se estén definiendo las muestras de individuos a ser invitados a
participar y contarán con un protocolo de contacto que se seguirá en todos los casos.

Página 91 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

5. Estrategia para la triangulación de información


Aunque algunos autores definen triangulación como la combinación de metodologías en el estudio
del mismo fenómeno (Denzin, 2007), en esta evaluación y desde el enfoque de sistemas complejos,
se va a entender triangulación como el medio por el cual diferentes perspectivas son usadas para
validar, desafiar o extender los resultados encontrados cuando el objeto de estudio es complejo
(Turner & Turner, 2009). En este sentido, es importante tomar en cuenta la definición de la OCDE
(2010), donde la utilidad de la triangulación radica en procurar eliminar los sesgos asociados al uso
de una sola fuente de información, un solo método, un único observador, o una teoría única.

Aunque existen varias formas de llevar a cabo un ejercicio de triangulación, este puede darse
mediante el uso de múltiples perspectivas/procedimientos/métodos teóricos, fuentes de datos,
investigadores o teorías para recopilar e interpretar los datos y ver al final, cómo estos convergen
en una representación precisa (Brink, 2003; Hilton, 2003).

Para esta evaluación, la triangulación viene dada por el mismo diseño dado por el DNP, donde es
necesario conducir la investigación desde una visión interdisciplinaria con múltiples métodos
complementarios y con múltiples puntos de vista provenientes de los diferentes actores
involucrados tanto en el diseño como en cada una de las etapas de implementación del PNCJCCC,
además de una revisión exhaustiva documental de información relevante.

Por lo tanto, la evaluación institucional y de resultados del PNCJCCC es compleja en la medida que
involucra diversas estrategias de recolección de datos: métodos mixtos (teniendo en cuenta
además de los instrumentos cualitativos, los experimentos comportamentales y los formularios
complementarios), múltiples actores con diversas opiniones sobre el programa (los tomadores de
decisiones, los que implementan la intervención y aquellos impactados por el programa), la revisión
información documental y de bases de datos incluyendo el SICJ, y para finalizar, un equipo de
investigadores interdisciplinarios que permitirá enriquecer la evaluación.

Así, para dar respuesta a las preguntas orientadoras de la evaluación institucional y de resultados, y
para formular recomendaciones acertadas y pertinentes, es necesario, además de contar con un
marco de la evaluación que para este caso es el de los sistemas complejos, poder sintetizar los
hallazgos de los múltiples instrumentos de recolección de información. Para ello, se propone una
metodología de triangulación múltiple que permite robustecer el análisis y validar los resultados al
articular e integrar los hallazgos entre las diferentes estrategias de recolección de datos. Esta
metodología busca analizar los resultados utilizando técnicas de triangulación entre métodos, entre
actores involucrados, entre fuentes de información y finalmente entre investigadores, para lo cual,
se utilizan dos herramientas básicas: la matriz de consistencias como guía base para responder a las
preguntas orientadoras, y la matriz de hallazgos, conclusiones y recomendaciones (HCR) como
estrategia de organización de la información de los diferentes métodos.

Página 92 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

5.1. Triangulación entre métodos

La estrategia de métodos mixtos en la evaluación se justifica no solo por la solicitud implícita de los
pliegos de condiciones sino por la profundidad del análisis y la información adicional y
complementaria que puede desprenderse del análisis conjunto de ambos métodos. Como lo
menciona Hamui-Sutton (2013), la investigación con métodos mixtos va más allá de la suma de lo
cuantitativo y lo cualitativo, pues el análisis permite superar las limitaciones de ambos métodos,
ampliando el panorama y fortaleciendo la validez de la interpretación de los resultados. Por lo
tanto, esta evaluación contempla la articulación de los análisis cualitativos y los cuantitativos para
robustecer los resultados.

La triangulación entre métodos pretende generar categorías de análisis que sean comparables
entre los resultados cuantitativos y cualitativos. De una parte, la información cualitativa recolectada
en el trabajo de campo será analizada a través de un within-method analysis para encontrar ideas
transversales y patrones tanto por las 5 CJ como por los 3 CCC.

Por otro lado, se propone complementar el análisis cuantitativo, tanto de los experimentos como
de las bases de datos complementarias, a través de la información cualitativa de los componentes
institucional y resultados, y de la revisión documental. El análisis se realizará utilizando la matriz de
consistencias, ubicando la información de cada uno de las fuentes de información en dicha matriz,
lo que permitirá explicar ciertos resultados así como identificar cuellos de botella y factores de éxito
asociados tanto con la puesta en marcha del Programa, como con los resultados identificados. De
esta forma, analizando tanto los hallazgos del levantamiento de información cuantitativa como
cualitativa y de información primaria y secundaria se identificarán no solo los resultados, sino los
retos que tienen los actores encargados de la ejecución del PNCJCCC.

Finalmente, para este tipo de triangulación se proponen como mínimo las siguientes estrategias:

i) Generar categorías estandarizadas, partiendo de la matriz de consistencias, para


diseñar los instrumentos y clasificar la información obtenida en el levantamiento de
información cualitativa (guías de entrevistas y talleres), cuantitativa (experimentos y
formularios complementarios) y documental.
ii) Emplear los resultados cualitativos para complementar y explicar los resultados
cuantitativos en la etapa de análisis de la información y producción de hallazgos y
conclusiones. Asimismo, partir de los hallazgos cualitativos y cuantificar los hallazgos
recurrentes en los casos en los que los datos ofrezcan información en esos aspectos.
iii) Construir las conclusiones para cada pregunta orientadora a partir de la triangulación
de los hallazgos cuantitativos y cualitativos, utilizando la matriz HCR que se explicará
más adelante.

En este punto también será muy importante la triangulación entre el componente de evaluación
institucional y el de resultados. Desde el diseño metodológico se plantea que, en las categorías de
análisis cuantitativas y cualitativas, las variables dependientes o analizadas en el componente de
institucional serán tenidas en cuenta como variables que permitan entender los hallazgos del

Página 93 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

componente de resultados. Adicionalmente, durante el análisis de los resultados, se involucrarán


los hallazgos del componente institucional que permitan explicar, comprender o generar hipótesis
adicionales sobre el comportamiento de las variables de interés, principalmente los relacionados
con acceso efectivo a la justicia, goce efectivo de derechos, generación de confianza, reciprocidad,
cooperación, expectativas normativas, propensión al conflicto, entre otros.

5.2. Triangulación entre actores involucrados con el PNCJCCC

La triangulación entre actores permitirá establecer relaciones entre los involucrados en las distintas
etapas del programa entre quienes toman decisiones de política pública y los directamente
impactados por el programa. Para ello, se analizarán los resultados de los instrumentos de
recolección tanto cualitativos como cuantitativos y por tipo de actor. Se tendrán en cuenta las
interacciones y significados que se dan: i.) Al interior de las CJ y CCC identificando los diferentes
roles y canales de comunicación, ii.) Los diferentes niveles territoriales en los que se desenvuelve el
Programa (nacional y municipal), iii.) La visión de los beneficiarios (tanto en el componente
comportamental como en los talleres participativos).

El análisis de los instrumentos cualitativos a través de la codificación de la información en el


software Atlas.ti permitirá establecer comparaciones para triangular las opiniones comunes de los
actores tal como se anunció en la sección de sistematización. En primer lugar, se agruparán los
resultados por categorías de interés. En segundo lugar, se asociarán las percepciones de los actores
con ideas generales que se agrupan por categorías o temas. Finalmente, se compararán las
observaciones de los actores permitiendo dar respuesta a las preguntas orientadores de la
evaluación institucional y de resultados.

Además de la codificación de los instrumentos cualitativos la propuesta pretende analizar los


contenidos textuales de los diferentes documentos que harán parte de la UH, así como el lenguaje
narrativo de los talleres. Esta estrategia permitirá ampliar el análisis, el cual, nuevamente, será
guiado por la matriz de consistencias para poder establecer los hallazgos junto con los resultados
del análisis de la información cuantitativa para su triangulación.

5.3. Triangulación entre fuentes de información

El objetivo de la triangulación entre fuentes de información es contrastar la evidencia encontrada


en el levantamiento de información con la revisión de la información secundaria. Al comparar
ambas fuentes se pretende evidenciar la coherencia o divergencias en la información analizada. El
proceso permitirá validar los resultados o encontrar vacíos que permitirán al investigador generar
nuevos interrogantes para ampliar el análisis.

Estas fuentes han sido descritas con precisión en la matriz de consistencias de la evaluación. A
partir de esto, será posible triangularlas para el análisis, como mínimo en los siguientes aspectos:

Página 94 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

i) Deber ser del acuerdo institucional del PNCJCCC, de acuerdo con las leyes, decretos,
resoluciones y documentos del plan nacional de desarrollo versus la realidad del
programa de acuerdo con las entrevistas en el nivel nacional y local.
ii) La revisión de investigaciones y otra información secundaria, y el análisis de
información complementaria que permita establecer las diferentes teorías de cambio
que pueda tener el programa así como la identificación de hipótesis alternativas versus
los resultados del PNCJCCC, de acuerdo con los experimentos y las percepciones
(significados) de los participantes, levantadas en los talleres.

Esta triangulación se realizará por etapas. En primer lugar, se analizarán los documentos sobre el
PNCJCCC: decretos, guías de implementación, estadísticas de entrada y salida de los participantes,
información financiera y presupuestal, entre otros. Posteriormente, esta información será
comparada con la información recolectada de fuentes primarias en entrevistas, talleres grupales y
sesiones comportamentales.

Los resultados del análisis de esta información servirán para resolver las preguntas orientadoras de
los dos componentes de la evaluación y servirá de insumo para las recomendaciones de política
pública.

5.4. Triangulación entre disciplinas de los investigadores

El equipo multidisciplinario de investigadores a cargo de la evaluación promete enriquecer la


calidad de la evaluación al incorporar en el proceso de investigación diferentes visiones y
estrategias de análisis. Sin embargo, al ser un equipo diverso se requiere contrastar las
interpretaciones de los investigadores quienes podrán tener visiones distintas sobre un mismo
fenómeno. Por lo tanto, con el fin de que las observaciones de cada investigador sean conocidas
por los demás, se realizarán reuniones periódicas que permitirán ubicar con contundencia los
hallazgos de la evaluación a partir de la operativización de la matriz HCR. En particular, se espera tal
como se anunció en la sección de sistematización, realizar dos reuniones de trabajo grupal con todo
el equipo con el objetivo de avanzar en la construcción de la matriz hallazgos-conclusiones-
recomendaciones HCR: en la primera, cada miembro aportará con los hallazgos encontrados para
responder las preguntas orientadoras y, en la segunda, se formularán las conclusiones y
recomendaciones que emerjan de la información levantada y analizada. Dichas reuniones de
trabajo serán previas a escribir los productos finales y se realizarán con todo el equipo de
investigadores.

5.5. La matriz de consistencias y la matriz HCR

La UT considera que el punto de partida inicial para la triangulación de la información es la matriz


de consistencias. Como se ha visto, esta matriz asocia de una forma ordenada y secuencial, las
preguntas orientadoras de la evaluación con las dimensiones y categorías de análisis, los
indicadores cuantitativos o los códigos cualitativos, y las diferentes fuentes de información. En este

Página 95 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

sentido, es importante poder identificar no solo durante el diseño, sino a lo largo del desarrollo de
la evaluación, las categorías de análisis de la misma.

No obstante, es importante tener en cuenta como ya se mencionó en la estrategia de


sistematización, que este modelo deberá someterse a observación y análisis constante a lo largo de
todo el estudio, para evaluar y comprobar la pertinencia de las categorías predefinidas e identificar
en cada momento la emergencia de nuevas categorías que deberán incorporarse. En este caso, el
equipo investigador estará abierto a identificar categorías emergentes desde los datos empíricos los
cuales permitan validar, confrontar, falsear, problematizar o complementar las categorías
preliminares (Denzin y Lincoln, 2005; Gibbs, 2018; Glaser y Strauss, 1967; Saldaña, 2016; Strauss y
Corbin, 2002).

Una vez obtenida y clasificada la información, se construirá la matriz de hallazgos, conclusiones y


recomendaciones (HCR) al final de la evaluación como estrategia para organizar el análisis y así
poder establecer de forma sistemática las conclusiones y recomendaciones provenientes de los
diferentes métodos de triangulación.

El proceso de construcción de esta matriz consiste en responder cada una de las preguntas
orientadoras a partir de la identificación de hallazgos provenientes de las diferentes fuentes de
información. Cada hallazgo puede determinar la forma de responder una pregunta, y puede validar,
desafiar o extender los resultados encontrados por otro hallazgo. Cada uno de estos hallazgos
permite la generación de una o más conclusiones respecto a una pregunta, pero es claro que la
conclusión contiene como valor agregado el análisis del equipo de investigadores. Finalmente,
agrupar un número de conclusiones sobre un mismo tema permitirá establecer una o varias
recomendaciones, las cuales como se ha dicho, deberán ser propuestas bajo el enfoque de la
evaluación de sistemas complejos.

Además de la utilidad de esta matriz para la triangulación, esta estrategia de permite realizar un
trabajo sistémico de generación de conclusiones y recomendaciones basadas en la evidencia, y no
de los conceptos de los expertos. Asimismo, es importante notar que esta estrategia permite
materializar la triangulación múltiple anteriormente descrita, pues se aprovecha el potencial y las
ventajas tanto del enfoque cuantitativo como del cualitativo, la riqueza que produce la
interdisciplinariedad, y se establecen relaciones entre los sujetos indagados para construir
significados a partir de la intersubjetividad. Por último, vale la pena destacar que se contará con un
espacio final para la triangulación de la información, el cual es la realización de una mesa de
expertos que se llevará a cabo antes de la entrega del último producto y que permitirá a la UT
retroalimentar las recomendaciones y afinarlas con el propósito de que se ajusten a un escenario
institucional, normativo y de recursos más realista, partiendo de las diferentes perspectivas y
experiencias de los expertos invitados a dicho espacio.

Página 96 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

III. Definición del Trabajo de Campo y Recolección de


Información
1. Diseño Muestral Cualitativo

1.1. Tipología de Muestreo

El tipo de muestreo que se va a proponer tiene dos características principales. En primer lugar, en
tanto hace parte de un enfoque cualitativo, es una muestra intencional (Patton, 1987). Esto quiere
decir que no obedece a criterios de aleatoriedad ni representatividad estadística, sino de la
relevancia de los datos cualitativos que pueden obtenerse para una descripción y análisis profundo
del punto de la vista de la persona, sus prácticas y significados. Como sostiene Patton (1987), el
objetivo central de las muestras intencionales es generar casos que sean ricos en información y
que, al mismo tiempo, sirvan para entender a profundidad los asuntos centrales de la evaluación.

En segundo lugar, se va a usar lo que el autor anteriormente citado denomina criterio de variación
máxima para escoger los lugares y las unidades muestrales. Dado que la necesidad de la evaluación
demanda seleccionar una muestra pequeña en cuanto a lugares y personas, sería errado pretender
que a partir del trabajo de campo realizado en 8 municipios, por ejemplo, se puedan extrapolar sus
conclusiones al funcionamiento en general del PNCJCCC en el país: no se alcanzarían a cubrir las
variaciones demográficas, culturales, sociales, económicas y de implementación del programa que
se necesitarían tener en cuenta para poder sacar conclusiones acerca del programa. No obstante,
se puede aprovechar esta misma limitación, “radicalizarla” y convertirla en una fortaleza
metodológica.

Esta estrategia se basa entonces en la construcción de casos heterogéneos; únicos, en el sentido


que no va a existir una característica o una combinación de características que sea común a todos
los casos. Van a existir, por supuesto, parecidos de familia33, pero no una variable o categoría que
los atraviese a todos por igual. Esta estrategia permite recoger información que sirve a dos
propósitos analíticos: comprender las particularidades del PNCJCCC como intervención y permitir
que emerjan patrones a partir de la variedad. Con respecto al primer propósito, dado el énfasis del
marco interpretativo de los sistemas complejos y de desarrollo de capacidades, esta variación va a
permitir, precisamente, conocer en detalle los efectos que diferentes entornos pueden generar en
las capacidades y el desempeño organizacional, así como distintos tipos de adaptación, formas de
hacer las cosas y experiencias en cuanto a la gestión territorial del programa.

Con respecto al segundo propósito, la heterogeneidad de las características de los casos puede
darles mayor peso a los patrones, los resultados y experiencias compartidas que emerjan a partir
del análisis. En la medida que los casos difieren entre sí en un grado considerable, el investigador
puede tener más confianza en la determinación de los patrones significativos y las cadenas

33Los parecidos de familia son un término y un método de investigación que propuso originalmente Wittgenstein (1988)
con respecto a los juegos de lenguaje.

Página 97 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

causales, bien sea con respecto al análisis institucional o con respecto a los resultados, pues
elementos como la cultura, la demografía, las fuerzas del entorno y la capacidad de las instituciones
van a ser elementos que van a variar. Como sostiene nuevamente Patton (1987), la significancia y la
fuerza de los patrones comunes del muestreo de variación máxima radica en que “emergen a pesar
de la heterogeneidad” (pág. 53).

1.2. Selección de Unidades Muestrales

Lugares

Teniendo en cuenta el tipo de muestreo propuesto, se va a comenzar con los lugares en los que se
va a realizar el trabajo de campo. Para esta tarea se hará uso de varios criterios de selección
combinados estratégicamente. Estos criterios son los siguientes:

Inclusión por defecto. La inclusión por defecto es aquella selección cuyos criterios son forzosos en el
sentido que pueden venir determinados de antemano (e.g. por los pliegos de la evaluación), por la
disponibilidad de casos o por las características del objeto de estudio.

Heterogeneidad. Con estos criterios se busca cumplir el objetivo del tipo de muestreo en el sentido
que se de variación entre las características de los diferentes casos. Para el caso de esta evaluación
se emplearán criterios de variación geográfica34, demográfica (tamaño de la ciudad y nivel de
ruralidad) y de tiempo creación de la entidad.

Teniendo en cuenta estos criterios, se procede por etapas a la selección de lugares. Siguiendo el
criterio de inclusión por defecto, se tiene que los siguientes departamentos están preseleccionados
en los pliegos de condiciones de la evaluación: para las CJ (que deben ser 5 en total), los
departamentos de Antioquia, Bolívar y Chocó; para los CCC (que deben ser 3 en total), los
departamentos de Arauca y Norte de Santander. Siguiendo con este nivel de desagregación, para
las CJ, apelando a su vez al criterio de variación geográfica, pueden proponerse los departamentos
adicionales de Guaviare (Amazonía) y Casanare (Orinoquía-Llanos). De esta manera, se tendrían CJ
ubicadas en departamentos pertenecientes a distintas regiones del país: Antioquia (Eje Cafetero y
Antioquia), Bolívar (Caribe), Chocó (Pacífico), Guaviare (Amazonía) y Casanare (Orinoquía-Llanos). El
mismo criterio se aplicaría en el caso de los CCC: aparte de Arauca (Orinoquía-Llanos) y Norte de
Santander (Santanderes), se propone el departamento de Nariño que, si bien se hace parte de la
región Pacífico, es un departamento ubicado al sur este del país.

Luego de seleccionar los departamentos a partir del criterio de variación geográfica, se barajan
otros criterios que permitan especificar municipios y, si es el caso, CJ y CCC en su interior. Sin
embargo, existen desde un comienzo circunstancias de inclusión forzosa que es necesario tener en
cuenta: el único municipio de Bolívar que cuenta con una CJ es Cartagena y de Guaviare, San José
del Guaviare; por lo tanto, estos municipios quedan automáticamente seleccionados, al igual que
Túquerres, Nariño, para el caso de los CCC. Ahora bien, aparte de estos municipios, se emplea a

34Para los criterios de variación geográfica se propondrá utilizar contar con variabilidad en las regiones del PND, no
obstante, no quiere decir que cada región será representada por un departamento o municipio.

Página 98 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

renglón seguido un criterio de variación demográfica, buscando que en la muestra de las CJ y CCC
queden casos de ciudades y aglomeraciones de varios tamaños, municipios rurales y municipios
rurales dispersos35.

Este ejercicio da como resultado la siguiente propuesta para las CJ: en Antioquia se selecciona el
municipio de Medellín, como caso de ciudad grande. Aunque las otras ciudades se escogieron por
defecto (Cartagena y Yopal), sus tamaños, economías y localización aseguran igualmente
heterogeneidad. Resta por seleccionar el municipio del Departamento del Chocó. Teniendo en
cuenta que San José del Guaviare es clasificado como municipio rural, se selecciona Carmén del
Darién como caso de municipio rural disperso. Para los CCC, teniendo en cuenta que Túquerres,
seleccionado por defecto, es un municipio clasificado como intermedio, queda por variar la muestra
con ciudades y municipios rurales. Cúcuta queda seleccionada automáticamente (no hay ciudades
en Arauca que tengan CCC) y, como caso de ruralidad, se propone el municipio de Arauquita. Con
esto queda completada la selección de municipios.

En algunos de ellos, la selección de las CJ y los CCC respectivos, vienen por defecto: solo hay una de
dichas entidades. Este es el caso de Carmen del Darién (Chocó), San José del Guaviare (Guaviare), y
Yopal (Casanare), con respecto a la muestra de CJ; los CCC, salen todos seleccionados por defecto:
solo hay uno en los respectivos municipios seleccionados. Queda entonces por escoger las CJ que se
van a visitar en Medellín y Cartagena. Se proponen en este punto como criterio la antigüedad:
escoger una CJ cuya creación sea lo más alejada posible en el tiempo y otra lo más cercana, con el
fin de tener entre la muestra entidades que están en momentos distintos de sus procesos de
consolidación y adaptación. Teniendo en cuenta este criterio, se propone la CJ de Chiquinquirá en
Cartagena (año 2000) y Veinte de Julio en Medellín (2014). Estas son las CJ más alejadas en el
tiempo entre aquellas que se ubican en los municipios mencionados.

Dicho todo lo anterior, la selección de casos se resume en el siguiente cuadro. Nótese que, tal y
como se propuso no existe un criterio geográfico o demográfico que sea común a todos los casos.
En este sentido, la muestra cumple con el propósito de garantizar el objetivo de la variación
máxima.

Tabla III-1 - Resumen criterios selección de lugares


Centros de Convivencia
Criterio Casas de Justicia
Ciudadana
selección
Antioquia Chocó Bolívar Guaviare Casanare Arauca N. Stder Nariño

Criterio Eje Cafetero Orinoquía Orinoquía Santand


Pacífico Caribe Amazonía Pacífico
geográfico y Antioquia - Llanos - Llanos res

Carmen San José


Municipio Medellín del Cartagena del Yopal Arauquita Cúcuta Túquerres
Darién Guaviare

35 Se consultó para ello la clasificación de municipios según el nivel de ruralidad del DNP.

Página 99 de 119
Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Centros de Convivencia
Criterio Casas de Justicia
Ciudadana
selección
Antioquia Chocó Bolívar Guaviare Casanare Arauca N. Stder Nariño

Criterio Ciudad Rural Ciudad Ciudad


Rural Rural Ciudad Intermedio
demográfico grande disperso mediana pequeña

Carmen San José


Veinte de Chiquin-
CJ o CCC del del Yopal Arauquita Cúcuta Túquerres
Julio quirá
Darién Guaviare

Criterio CJ o Por Antigüe- Por Por Por Por


Antigüedad Por defecto
CCC defecto dad defecto defecto defecto defecto

Fuente: Elaboración propia UT Ipsos – Economía Urbana (2019)

Hay que advertir que esta propuesta es una propuesta inicial, que puede ser modificada a medida
que avance la evaluación y se encuentren otros criterios razonables relacionados, por ejemplo, con
indicadores del SICJ.

Instrumentos, entidades y personas

Con respecto a los instrumentos que hay que aplicar en cada uno de los municipios que se van a
visitar, estos ya vienen distribuidos por defecto36, tal y como aparecen en los pliegos. En el nivel
nacional, se deben aplicar los siguientes instrumentos:

Tabla III-2 - Tipo de instrumento nivel nacional por entidad


Tipo de instrumento No.
Instrumentos de recolección grupal
Ministerio de Justicia y del Derecho 1
Total instrumentos de recolección grupal 1
Entrevistas semi estructuradas individuales
Registraduría Nacional del Estado Civil 1
Fiscalía General de la Nación 1
Procuraduría General de la Nación 1
Defensoría del Pueblo 1
Instituto Colombiano de Bienestar Familiar 1
Ministerio de Trabajo 1

36 Hay que notar que la UT propone entrevistar dos actores más, USAID y OIM. La cooperación internacional ha sido
fundamental en la implementación del Programa. En el año 1995, la Agencia de los Estados Unidos para el Desarrollo
Internacional -USAID apoyó al Gobierno Nacional en la planeación, construcción e implementación de la primera Casa de
Justicia y actualmente, ha priorizado sus esfuerzos para apoyar el PNCJCCC en los departamentos de Chocó. Nariño,
Putumayo, Antioquia y Cauca como contribución a la construcción de una paz sostenible. Así mismo la Organización
Internacional para la Migraciones- OIM, en 2002 ejecutó los recursos proporcionados por USAID y brindó
acompañamiento técnico en la construcción e implementación del primer Centro de Convivencia Ciudadana. Además, ha
acompañado al Gobierno Nacional en varias estrategias de acceso a la justicia, como la Justicia Juvenil Restaurativa.

Página 100 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tipo de instrumento No.


Policía Nacional (encargados de inspección general y convivencia y 1
seguridad)
Medicina Legal 1
Unidad para la Atención y Reparación Integral a las Víctimas 1
Agencia para la Reincorporación y la Normalización 1
Total entrevistas semi estructuradas 10
Total instrumentos entidades nivel nacional 11
Fuente: Elaboración propia UT Ipsos – Economía Urbana (2019)

En el nivel territorial, por su parte, deben aplicarse en cada uno de los municipios seleccionados los
siguientes instrumentos:

Tabla III-3 - Tipo de instrumento nivel territorial por tipo de entidad


No de instrumentos No de Total
Tipo de instrumento
por municipio municipios instrumentos
Entrevistas individuales
Director CJ o CCC 1 8 8
Informante idóneo temas de seguridad, convivencia 1 8 8
y justicia
Total entrevistas individuales 16
Entrevistas grupales
Entidades relacionadas con temas de Derechos 1 8 8
Humanos (Personería, Defensoría, Unidad para la
Atención y Reparación Integral a las Víctimas,
Agencia para la Reincorporación y la Normalización)
Entidades relacionadas con temas de Familia y Niñez 1 8 8
(Comisaría de Familia, Desarrollo Comunitario,
Policía Nacional, ICBF, Registraduría)
Entidades relacionadas con temas de Solución de 1 8 8
Conflictos (Conciliadores y Policía Nacional)
Otras entidades que hacen presencia en las CJ o CCC 1 8 8
(Fiscalía, Medicina Legal, Inspección de Policía,
Consultorios Jurídicos (universidades), Ministerio de
Trabajo, Jueces de Pequeñas Causas)
Total entrevistas grupales 32
Talleres participativos
Talleres participativos población usuaria CJ o CCC 1 8 8
Total talleres participativos 8
Fuente: Elaboración propia UT Ipsos – Economía Urbana (2019)

Con respecto a la distribución anterior, hay que aclarar que las entidades concretas se
seleccionarían más adelante, cuando el equipo tenga acceso al directorio actualizado de las
entidades que hacen presencia en las CJ y en los CCC de cada territorio. Esto quiere decir,
igualmente, que esto esta selección está sujeta a la presencia efectiva de las entidades en los
municipios seleccionados. Sin embargo, antes que ser una debilidad, esto le añade fuerza a la idea

Página 101 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

de heterogeneidad, pues es posible que no siempre se encuentren, para los temas propuestos por
defecto en los pliegos, las mismas entidades en los mismos municipios.

Resta por hacer explícitos los criterios de selección de las personas que van a participar en los
instrumentos. Al igual que en el caso de los lugares, existen unos criterios por defecto relacionados
con el cargo y las características de los informantes (aquellos conocidos en la literatura cualitativa
como informantes clave, es decir, que tengan un conocimiento o una experiencia suficiente para
hablar de los temas en cuestión). A estos criterios se les va a añadir, en los casos que aplique, el
género y la etnia. A continuación se presenta el cruce entre estos criterios y los instrumentos que se
van a aplicar.

Tabla III-4 - Criterios selección participantes por tipo de instrumento


Tipo de instrumento Criterios selección participantes
Nivel nacional
Instrumentos de recolección grupal
Ministerio de Justicia y del Derecho Informante clave, inclusión por defecto. Como lo establecen los
pliegos, la evaluación va a reunir a aquellos profesionales del
Ministerio que hayan estado relacionados con la
implementación del programa. Su buscará que asistan tanto
personal directivo como técnico.
Entrevistas semi estructuradas individuales
Registraduría Nacional del Estado Civil Informante clave, inclusión por defecto. Al igual que en el caso
Fiscalía General de la Nación anterior, se trata de encontrar, por medio de las labores de
reclutamiento, el funcionario o servidor público que tenga un
Procuraduría General de la Nación conocimiento suficiente sobre la implementación del PNCJCCC y
Defensoría del Pueblo el papel de su entidad en la oferta de servicios que se presta en
Instituto Colombiano de Bienestar las CJ y en los CCC.
Familiar
Ministerio de Trabajo
Policía Nacional (encargados de
inspección general y convivencia y
seguridad)
Medicina Legal
Unidad para la Atención y Reparación
Integral a las Víctimas
Agencia para la Reincorporación y la
Normalización
Nivel territorial
Entrevistas individuales
Director CJ o CCC Inclusión por defecto. Este es un cargo único: al seleccionar los
municipios, las CJ y los CCC se seleccionan automáticamente los
directores de dichas entidades con los que se va a conversar.
Informante idóneo temas de seguridad, Informante clave, inclusión por defecto. Como categoría aparece
convivencia y justicia desagregada en los pliegos. Dependiendo de cada municipio y
de la división funcional entre las secretarías, se contactará al
funcionario más alto encargado de estos temas.
Entrevistas grupales

Página 102 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tipo de instrumento Criterios selección participantes


Entidades relacionadas con temas de Informante clave, inclusión por defecto. Como categoría, los
Derechos Humanos pliegos mencionan las entidades correspondientes a cada tema.
Entidades relacionadas con temas de Como criterio auxiliar, se buscará el cargo más alto de cada una
Familia y Niñez de las entidades que hacen presencia en las CJ y CCC de acuerdo
Entidades relacionadas con temas de a los temas demandados.
Solución de Conflictos
Otras entidades que hacen presencia en
las CJ o CCC
Talleres participativos
Talleres participativos población usuaria Informante clave, género, raza y etnia. Para los talleres con
CJ o CCC población usuaria, se buscarán aquellas personas que hayan
recibido algún servicio relacionado con la oferta de las CJ o los
CCC, más allá de la atención por una sola vez en recepción. Se
busca, en síntesis, personas que hayan tenido experiencias con
la atención, los procesos y servicios de las entidades y que
puedan narrar con algún grado de profundidad dichas
experiencias.
Como criterios auxiliares para garantizar heterogeneidad, se va
a buscar que hayan sido usuario de diversos tipos de servicios
(formales y no formales). Igualmente, se propone que al menos
uno de los talleres sea con población Afro y otro con población
indígena.
Por último, se procurará, en a medida de lo posible, garantizar
una participación equitativa entre hombres y mujeres.
Fuente: Elaboración propia UT Ipsos – Economía Urbana (2019)

2. Retos del trabajo de campo


La siguiente sección presenta la estrategia de acercamiento a las unidades de análisis a medida que
presenta la forma de abordar los retos asociados a:

• Problemas de orden público. Es importante mencionar que es posible que el desarrollo del
trabajo de campo se de en zonas o municipios en los que se presentan problemas de orden
público. Esto puede presentar riesgos para la seguridad de las personas involucradas en la
evaluación y por lo tanto es importante tomar medidas de mitigación de riesgo en este
aspecto.
• Los funcionarios que participan de las entrevistas individuales y grupales y demás
instrumentos de recolección grupal. Los retos asociados a este grupo no solo implica la
continuidad de los programas en los contextos locales teniendo en cuenta los cambios de
gobierno, así como el conocimiento limitado por parte de nuevos funcionarios, sino que
también incluye los retos asociados a coordinación de agendas y la disposición de brindar
información en actividades grupales.
• Los usuarios de las CJ y CCC. La dificultad para contactar y convocar a la población usuaria
de las CJ y CCC, teniendo en cuenta que han acudido como víctimas de hechos delictivos y
no quieren exponer sus experiencias. Asimismo, es importante mencionar cómo se van a
manejar estas experiencias durante el desarrollo de los talleres.

Página 103 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

• Los no usuarios de las CJ y CCC que servirán de control para los experimentos. Este grupo
presenta dos retos importantes: la consecución de información que permita seleccionar a
las personas adecuadas para el grupo control, y su sensibilización teniendo en cuenta que
no perciben ningún vínculo o compromiso con el PNCJCCC.

2.1. Problemas de orden público

Teniendo en cuenta la inestabilidad e impredecibilidad del orden público en el país, los


departamentos definidos para el trabajo de campo pueden incluir zonas o municipios en los que
existan riesgos de seguridad para los participantes y los investigadores involucrados en la
evaluación. Por lo tanto, la garantía de su integridad será una prioridad tenida en cuenta antes y
durante la recolección de información.

Tan pronto se haya aprobado la muestra de CJ y CCC seleccionadas, la primera estrategia de


acercamiento será consultar con las autoridades pertinentes cuál es la situación de orden público
en cada zona y municipio. De acuerdo con las características del lugar y el medio de desplazamiento
del equipo en campo, se solicitará información sobre las condiciones de seguridad en el área
urbana, el área rural y en las rutas o carreteras (cuando se realicen desplazamientos terrestres). En
caso de que el reporte sea favorable, se pondrá en conocimiento de las autoridades el propósito
general y las entidades a cargo de la evaluación, así como las fechas de las actividades que se
realizarán en cada municipio.

En caso de que las autoridades reporten condiciones que pongan en riesgo la integridad y la labor
del equipo de la evaluación, se aplazará la visita a la zona o el municipio correspondiente y se
realizará un seguimiento semanal de la situación para determinar la posibilidad de ejecutar el
trabajo de campo. Si tras un mes no se presenta una mejoría, se solicitará a las autoridades una
comunicación escrita que exponga la situación de orden público, para justificar y definir el
reemplazo de la CJ y CCC con el Comité Técnico de la evaluación.

Durante el trabajo de campo todas las actividades se realizarán en el casco urbano de los
municipios y se propenderá por usar los espacios disponibles en las CJ o CCC. En caso de que
algunas de las personas seleccionadas para los talleres y los experimentos habiten en zonas rurales,
se asumirá el pago de su transporte hasta el lugar de ejecución de las actividades. No obstante, las
CJ y CCC suelen operar de manera sectorizada, por lo que se anticipa que, de presentarse estos
casos, se tratará de excepciones.

Además de tener en cuenta los factores contextuales que puedan afectar el orden público, la
estrategia para abordar este reto y disminuir los riesgos incluirá medidas preventivas y reactivas (en
caso de una alteración) para el equipo de investigadores. Por consiguiente, antes de comenzar el
trabajo de campo se realizará una capacitación que incluirá un módulo sobre el tema y cada
investigador recibirá una cartilla con el protocolo de seguridad. El protocolo con las
recomendaciones y procedimientos incluidos en la capacitación y la cartilla se presenta en la
siguiente tabla:

Página 104 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Tabla III-5 – Protocolo de seguridad para el trabajo de campo


Medidas preventivas

Aspectos generales

• Acatar las recomendaciones de las autoridades locales y de las personas a cargo de la


dirección y coordinación del trabajo de campo.
• Viajar acompañado por, mínimo, una persona. Nunca viajar sola o solo.
• Mantener el foco en los objetivos de la visita a la zona o al municipio, de acuerdo con los
itinerarios establecidos.
• Desarrollar todas las actividades en el día, entre las 6:00am y las 6:00pm.
• Informar a la persona encargada de la coordinación de campo cualquier cambio en las
actividades, itinerarios, rutas, etc.
• Diferenciar las actividades obligatorias del trabajo de actividades adicionales, y optimizar
el tiempo concentrándose en las actividades predeterminadas de la evaluación.
• No participar en situaciones de conflicto o que involucren enfrentamientos de diferentes
bandos.
• No aceptar ni recibir objetos o invitaciones de parte de personas desconocidas a lugares
desconocidos.
• Mantener la neutralidad y abstenerse de participar en eventos, marchas, protestas o
actos proselitistas.
• Evitar tomar fotografías de personas desconocidas o sospechosas.
Desplazamientos

•Evitar desplazamientos adicionales a los requeridos entre el lugar de hospedaje y el lugar


de las actividades de la evaluación.
• No desplazarse en horas de la noche.
• Evitar zonas inseguras (aisladas, solitarias, donde se desarrollen actividades ilícitas)
• Contactar transportadores referenciados o recomendados, que sean responsables,
conozcan bien el territorio y sean reconocidos por las personas de la zona.
Comunicaciones

•Mantener una lista de contactos en caso de emergencia (tanto en el celular como en


papel) que incluya: Línea de Emergencias (123), Policía Nacional de Carreteras (#767),
Gaula (165), Cruz Roja Colombiana (132), Dirección y Coordinación de trabajo de campo
de la evaluación.
• Contar con un celular o dispositivo de comunicación móvil, con saldo (minutos) y la
batería cargada.
• Reportarse al iniciar y al terminar la jornada de cada día con la persona a cargo de la
coordinación de campo.
• Reportarse cada vez que se tome un transporte intermunicipal o que haya cambios en las
actividades, itinerarios y rutas.
Documentación

• Mantener siempre consigo:


o Carta de presentación de la evaluación, con el objetivo general y las entidades a
cargo del trabajo.
o Cédula de ciudadanía

Página 105 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

o Carné de la EPS
o Carné de la empresa o entidad (si aplica)
Actitud y presentación personal

• Abstenerse de mantener conversaciones o expresar opiniones polémicas en sitios


públicos. Adoptar una posición neutral y de respeto ante temas políticos u otros
potencialmente sensibles.
• Evitar el uso de ropa y accesorios demasiado llamativos.
• No utilizar prendas o distintivos políticos.
• Evitar exponer a la vista elementos de alto valor (p.ej. dispositivos móviles, cámaras,
computadores).
• No compartir información personal relacionada con datos de contacto (p.ej. teléfono
privado, lugar de residencia), familiares, dinero y pertenencias.
Medidas reactivas

En caso de una alteración del orden público:

• Mantener la calma y el auto control.


• Transmitir tranquilidad y confianza al equipo o a los demás investigadores presentes.
• Mantenerse resguardado y no salir a espacios exteriores donde se presenten
enfrentamientos armados o confrontaciones.
• Evaluar y verificar condiciones externas antes de salir, solo si la situación lo permite o si
las condiciones exteriores son mejores que las interiores.
• Según la gravedad de la emergencia o incidente, comunicarse con las autoridades
pertinentes (Línea de emergencias, Policía, Cruz Roja) y con las personas en la dirección y
coordinación del trabajo de campo.
• Ante potenciales riesgos o amenazas a la seguridad e integridad del equipo en campo,
comunicarse con los actores mencionados y coordinar inmediatamente la salida de la
zona o municipio.
Fuente: elaboración propia UT Ipsos – Economía Urbana (2019)

En caso de que el equipo en campo no se reporte durante un día, ni sea posible establecer
comunicación, las personas en la dirección y coordinación del trabajo de campo emitirán una alerta
a las autoridades locales.

2.2. Los funcionarios públicos

El levantamiento de información para la evaluación comprende entrevistar a funcionarios del orden


nacional y funcionarios de las entidades presentes en las CJ y CCC. Para el cumplimiento de esta
labor el principal reto tiene que ver con los cambios de gobierno locales que tendrán lugar en los
primeros días del 2020 y el posible desconocimiento que exista entre los nuevos funcionarios, o la
baja legitimidad del programa o política en los contextos locales, así como las implicaciones en la
continuidad del programa.

Por lo anterior, al comenzar la estrategia de acercamiento a estos actores se tomarán medidas para
verificar que la persona a entrevistar sea el informante idóneo: alguien con conocimiento del
programa y su desarrollo y articulación interinstitucional. Así, la estrategia de acercamiento a la

Página 106 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

institucionalidad contemplará comunicaciones oficiales del DNP presentando el estudio, así como
realizar llamadas telefónicas en las que se preguntará brevemente cuál es la relación del
funcionario seleccionado con el PNCJCCC y cuánto tiempo lleva en el cargo. Como medida de
respaldo, se enviará por correo electrónico una lista general de los temas que se abordarán, para
que las personas conozcan el alcance del ejercicio y, de ser necesario, preparen información
adicional. Así se verificará la idoneidad de cada uno de los entrevistados. En caso de que los
funcionarios actuales no tengan conocimientos suficientes sobre el PNCJCCC, se solicitará su apoyo
para contactar a los funcionarios salientes, después de obtener el visto bueno del CTS.

Por otra parte, es importante tener en cuenta que las entrevistas se aplicarán de manera grupal, lo
cual puede generar retos adicionales frente a dos aspectos. Por un lado, es necesario coordinar una
fecha y horario en la que todos los funcionarios de las entidades involucradas en un tema tengan
disponibilidad. Para ello se realizará el agendamiento con al menos una semana de anticipación y se
destinarán dos investigadores para que asistan a cada CJ y CCC, permitiendo flexibilidad en los
horarios e incluso la realización simultánea de las entrevistas (siempre y cuando no haya
funcionarios que deban estar en dos entrevistas diferentes).

El segundo aspecto está relacionado con uno de los principales temas de interés de la evaluación: la
articulación institucional. Es posible que la relación entre algunas entidades no fluya
adecuadamente o incluso que se presenten conflictos entre funcionarios, así que algunos de ellos
pueden no estar dispuestos a expresar con total sinceridad sus opiniones en presencia de los
demás. Por lo tanto, en primer lugar, se aclarará que la entrevista no está interesada en
señalamientos individuales ni en evaluar a las personas. No obstante, se dará la posibilidad de hacer
un segundo contacto donde se provea información por correo electrónico u otro canal, en el que
los funcionarios podrán dirigir sus opiniones o comentarios garantizando la total confidencialidad
de la información. Es importante mencionar que el uso del correo electrónico permitirá disponer de
la información en formato escrito, lista para ser incluida y codificada en la unidad hermenéutica.

2.3. La población usuaria

Las razones por las que las personas acuden a las CJ y CCC son variadas, desde problemas civiles,
conflictos entre vecinos y pérdida de documentos hasta conflictos familiares y problemas penales
como el hurto o el abuso sexual (Carvajal, 2016). Esto quiere decir que para algunas personas su
paso por las CJ y CCC puede haberse reducido a una consulta sencilla, mientras que para otras
puede significar rememorar un evento traumático. No obstante, tanto para unas personas como
para otras, es probable que se haya tratado de unas experiencias relacionadas con situaciones,
como mínimo, incómodas o desagradables. Por consiguiente, uno de los principales retos para el
trabajo de campo es el contacto y la convocatoria de los usuarios de las CJ y CCC, tanto para el
desarrollo de los talleres participativos como para los experimentos. Igualmente, durante el
desarrollo de los talleres también se constituye un reto el manejo de estas experiencias, de modo
que su relato no interfiera con el levantamiento de la información que incumbe a la evaluación ni
con el bienestar de los participantes.

Página 107 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Ante este escenario, la estrategia de acercamiento a los usuarios se realizará a través de las CJ y
CCC. Para ello, el primer paso será solicitar los listados de usuarios incluidos en el SICJ o en el
registro de cada CJ y CCC. Esto con el fin de identificar a las personas que cumplan con las
características que requieren las muestras de las sesiones experimentales y los talleres
participativos. En caso de que los listados y la información de contacto de las personas estén
desactualizados, se consultará con el Comité Técnico de la evaluación la posibilidad de cotejarlos
con las bases de datos del SISBEN, Departamento de Prosperidad Social y Red Unidos, por
mencionar algunas. Para ello se redactará una solicitud formal presentando los objetivos de la
evaluación y de las actividades, así como las entidades a cargo y el uso estricto que se dará a la
información.

Además de la muestra mínima para el desarrollo de las sesiones grupales, al seleccionar a los
participantes se incluirá una sobre muestra. Dado que una parte de los usuarios registrados en las
CJ y CCC se acercan solamente a resolver dudas o recibir orientaciones, en las bases de datos se
revisarán las variables que permitan seleccionar a las personas que hayan tenido un mayor contacto
o involucramiento con los diferentes procesos desarrollados en las CJ y CCC. También se revisará el
SICJ o los archivos de las CJ y CCC para verificar que las personas seleccionadas no hayan estado
involucradas en el mismo proceso jurídico, pues sería altamente probable que surgiera algún tipo
de malestar si son convocadas simultáneamente personas en conflicto o víctimas y victimarios.

El proceso de selección de los usuarios participantes iniciará de manera paralela con la prueba
piloto. La estrategia de acercamiento con población usuaria iniciará con una comunicación
telefónica y otra por correo electrónico con el personal de las CJ y CCC. Por ambos canales se
presentará el objetivo de la evaluación, las entidades a cargo, las actividades a desarrollar y la
solicitud de la información recién descrita. No obstante, de presentarse algún problema en el
contacto, la solicitud o el envío de la información, un supervisor de campo visitará la CJ y CCC
respectiva. Esto aprovechando la presencia de Ipsos en 18 ciudades del país, desde las cuales será
posible desplazarse con facilidad.

Como se mencionó anteriormente, es probable que gran parte de los usuarios no estén interesados
en asistir a compartir sus experiencias o participar de los experimentos. Por ende, el contacto inicial
se realizará a través de personas que tengan un relativo nivel de confianza con las personas de la
comunidad. Tal puede ser el caso de los conciliadores en equidad, quienes actúan como
mediadores escogidos por los mismos miembros de las comunidades y por lo tanto cuentan con
legitimidad entre la población. De acuerdo con la Ley 23 de 2001 (citada en Cuellar, 2018) los
conciliadores en equidad son líderes comunitarios con cualidades humanas como la capacidad de
dialogar, a través de las cuales se fortalece la convivencia y el tejido social. Su misión es justamente
crear canales de comunicación entre el entorno social y las instituciones (Cuellar, 2018).

Tanto para el contacto que realizarán los conciliadores en equidad, como para introducir cada una
de los talleres y experimentos con los usuarios, se elaborará un guion de sensibilización adicional al
formato de consentimiento informado. Su principal propósito será estimular su participación al
aclarar el propósito de las actividades, el tipo de información que se recolectará y la relevancia de la

Página 108 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

evaluación para la comunidad. En el recuadro a continuación, se presenta un esquema con los


principales puntos que se incluirán en el guion.

Guion de sensibilización para usuarios

La evaluación del PNCJCCC SÍ está interesada en conocer:


• El funcionamiento y la relación entre las entidades que participan en las CJ y CCC.
• La contribución y los efectos del programa en el acceso de las personas a la justicia, la
convivencia ciudadana y la solución de conflictos.

La evaluación del PNCJCCC NO está interesada en conocer:


• Detalles sobre las historias o experiencias conflictivas o delictivas que la motivaron a visitar
las CJ y CCC.
• Información sobre su vida privada.

Por lo anterior, le solicitamos que tenga en cuenta que queremos conocer su opinión sobre los
servicios de las CJ y CCC independientemente de si el dictamen o el resultado del proceso lo
favoreció o era el que usted esperaba.

Para su tranquilidad, le aseguramos que las otras personas involucradas en el proceso en el que usted
tomó parte no estarán presentes en las actividades de la evaluación en las que participará.

Con su participación permitirá recoger información útil para formular recomendaciones que ayuden a
mejorar el acceso de las personas a la justicia, la convivencia ciudadana y la solución de conflictos en su
comunidad.
Para sesiones experimentales: Si decide asistir a la sesión tendrá la posibilidad de participar en un juego
en el que podrá obtener ganancias en dinero.
Para talleres participativos: En agradecimiento por su tiempo y participación, al final de la sesión recibirá
un bono Big Pass equivalente a una suma de dinero.

No obstante, además de los puntos mencionados en este guion, al contactar a los usuarios y al
iniciar cada sesión se realizará el proceso de consentimiento informado. Para ello se utilizará un
formato escrito que será leído y explicado a los participantes, en el cual se incluirán los siguientes
puntos:

• Explicación del proceso de evaluación a cargo del DNP y el Ministerio de Justicia.


• Presentación de la Unión Temporal a cargo de la evaluación.
• Objetivo general de la evaluación.
• Relevancia de la evaluación.
• Autorización para grabación de audio o video según sea el caso.

Página 109 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

• Anonimato, confidencialidad y usos de la información (para fines exclusivos de la


evaluación).
• Voluntariedad para no participar o para retirarse de las actividades en cualquier momento.
• Entrega de incentivo (para los talleres participativos) o pago de los experimentos.
• Contacto de las personas en la dirección y supervisión de la evaluación.

Desarrollo de los talleres participativos con la población usuaria

El reto derivado de las posibles experiencias negativas de las personas en las CJ y CCC no se limita al
proceso de contacto y convocatoria. El desarrollo de los talleres constituye un reto mayor debido a
que, a pesar del guion de sensibilización, pueden emerger relatos sobre experiencias que generen
malestar entre los participantes. Esto teniendo en cuenta que las razones por las que las personas
acuden a las CJ y CCC pueden implicar temáticas sensibles relacionadas con controversias o
conflictos sociales; situaciones que causen estigmatización al revelarse o situaciones consideradas
como privadas (Lee, 1993, citado en Powell, McArthur, Chalmers, Graham, Moore, Spriggs & Taplin,
2018).

Por lo tanto, como una primera medida preventiva se solicitará a las CJ y CCC un espacio cerrado,
privado y sin interferencias para realizar los talleres y sesiones experimentales. Además, se hará
énfasis en que los investigadores de la UT no están vinculados en ningún sentido con las CJ y CCC, y
por consiguiente, la información reportada no tendrá ninguna repercusión en el proceso jurídico de
cada persona. Otras acciones a las que se recurrirá para promover la confianza serán:

• Mantener y dar señales de una escucha activa (contacto visual, asentimiento,


exclamaciones, parafraseo y preguntas confirmatorias).
• Utilizar un lenguaje sencillo, sin formalismos o tecnicismos.
• Evitar interrumpir a las personas de manera abrupta.
• Indagar por sus opiniones, razones y motivos sin desafiarlos o invalidarlos.
• Adoptar un enfoque de acción sin daño antes y durante el trabajo de campo.

Frente al último punto, la naturaleza de la misión que cumplen las CJ y CCC implica que es
prácticamente un requisito adoptar un enfoque de acción sin daño, a partir del cual no se
exacerben los conflictos que enfrentan las comunidades en cada zona o municipio del país (Vela,
Rodríguez, Rodríguez & García, 2011). Por ende, con la información suministrada previamente por
las CJ y CCC para la selección de las muestras, los investigadores encargados de visitar cada
municipio deberán realizar una revisión breve que tenga en cuenta los elementos señalados a
continuación.

Tabla III-6 - Aplicación del enfoque de Acción sin Daño


1. Identificación del contexto

Identificar entidades presentes en cada CJ y CCC, principales razones por las que la población
general de usuarios acude a ellas y razones específicas por las que acuden los usuarios
seleccionados para las actividades de la evaluación.

Página 110 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

2. Identificación de posibles dinámicas de los conflictos

Conectores Divisores

Factores que conectan o unen a las personas: Factores de tensión o división entre las
personas:
• Instituciones (ej. instituciones que • Instituciones (ej. figuras del gobierno y
estimulan el respeto, la paz y la el Estado asociadas a la polarización
convivencia). política).
• Actitudes (ej. confianza, solidaridad o • Actitudes (ej. comportamientos
generosidad). violentos para la resolución de
• Valores e intereses (ej. cuidado de las conflictos).
niñas y niños). • Valores e intereses (ej. sistemas de
• Experiencias (ej. capital social o creencias que legitiman la
sentido de pertenencia a una discriminación hacia grupos
comunidad). específicos).
• Experiencias.
3. Consideración del impacto de la acción (evaluación)

Consideración de los conectores y divisores que pueden llegar a ser abordados durante los
talleres participativos, de modo que sea posible establecer principios compartidos por los
asistentes (que promueven la convivencia al tiempo que facilitan el desarrollo de la sesión) y
elementos externos a la evaluación que puedan vulnerar u ofender a los participantes y
perjudicar el desarrollo de los talleres.
Fuente: elaboración propia a partir de Vela, Rodríguez, Rodríguez & García (2011).

Sobre el enfoque de acción sin daño es pertinente aclarar que se busca fortalecer las capacidades
para la paz y la convivencia y evitar la exacerbación de conflictos. En otras palabras, no se busca
evitar las discrepancias en las opiniones o criterio de los participantes.

En caso de que los moderadores perciban malestar en alguno de los participantes, se


implementarán acciones básicas de contención emocional (Faros HSJBCN, 2014; Save the children,
2013). Esta información será incluida en el plan de capacitación previa al trabajo de campo, donde
se explicarán en detalle las acciones contempladas en el siguiente recuadro:

Acciones básicas de contención emocional


• Identificar emociones desagradables o malestar emocional (p.ej. miedo o angustia).
• Escuchar activamente, dando señales de atención.
• No forzar ni presionar a hablar, ni indagar o profundizar en detalles.
• Evitar contagiarse de la emocionalidad del participante.
• Calmar su estado de ánimo mediante un tono de voz bajo y suave, ofreciéndole razones que se
tranquilice y se sienta en control de la situación.
• Normalizar y validar la expresión de sentimientos y emociones.
• Consolar y animar a que se distraiga, una vez superado el episodio, mediante el contacto con sus
pares y el involucramiento en la actividad.

Página 111 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Un último reto implícito en los talleres participativos será el mantenimiento de una discusión
colectiva entre los participantes. Para ello será necesario tener en cuenta la diversidad del grupo,
por ejemplo, en términos de edad, educación u ocupación. También deberá considerarse que, pese
a la utilidad de los relatos o historias para aterrizar y concretar la discusión, es importante que esta
vaya más allá de lo anecdótico. La intención es que los talleres participativos permitan entablar un
diálogo y que los mismos participantes elaboren sus propias conclusiones e interpretaciones de
manera conjunta, aunque posteriormente los investigadores analicen la información.

2.4. Población no usuaria de las CJ y CCC

Para conformar el grupo control de las sesiones experimentales será necesario contactar y convocar
a población no usuaria del PNCJCCC. Este proceso implica considerar una estrategia que permita
abordar dos retos: la consecución de información que permita seleccionar a personas adecuadas
para el grupo control y su sensibilización, teniendo en cuenta que no perciben ningún vínculo o
compromiso con el programa. Dado que la UT enfrentó con éxito un reto similar para el desarrollo
de las sesiones experimentales en la evaluación del Programa Familias en Acción, la estrategia
descrita a continuación incluirá algunos procedimientos probados recientemente en campo, los
cuales guiaran la estrategia de acercamiento con este grupo.

1. Solicitud de bases de datos o listados del SISBEN al DNP y Red Unidos al Departamento de
Prosperidad Social, mediante una comunicación formal con la presentación de la
evaluación, las entidades a cargo (DNP, Ministerio de Justicia y UT) y el uso que se dará a la
información.
2. Definición de características de los participantes del grupo de tratamiento (usuarios),
incluyendo su municipio, barrio o zona, edad, género y puntaje SISBEN.
3. Búsqueda de potenciales participantes del grupo control (no usuarios) con características
similares a las del grupo de tratamiento (no usuarios) y emparejamiento.
4. Selección de no usuarios con sobre muestra (incluso mayor a la sobre muestra de usuarios),
considerando que su tasa de inasistencia suele ser más alta por no percibir ningún tipo de
vínculo o compromiso con el PNCJCCC (según la experiencia adquirida en la convocatoria de
la evaluación de Familias en Acción).
5. Contacto de enlaces del Departamento de Prosperidad Social en el nivel local para solicitar
su apoyo en dos procedimientos:
• Verificación de la actualización de los teléfonos o datos de contacto de los no usuarios,
teniendo en cuenta que los listados del nivel local suelen estar más actualizados que los
del nivel nacional)
• Contacto y sensibilización inicial de los no usuarios, presentando preliminarmente el
propósito de las actividades.
6. Contacto telefónico de los no usuarios a partir de un guion de sensibilización similar al
previamente utilizado por la UT para la convocatoria de no usuarios a las sesiones
experimentales de la evaluación de Familias en Acción (ver siguiente recuadro).

Página 112 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Guion de sensibilización para NO usuarios


Buenos días/tardes, mi nombre es_____ y hago parte de la unión temporal de las firmas Economía
Urbana e Ipsos, dos empresas privadas con sede en Bogotá dedicadas a la consultoría en temas de
mercados, opinión y políticas públicas. Actualmente estamos llevando a cabo una evaluación para el
Departamento Nacional de Planeación para aprender más sobre cómo toman decisiones económicas las
personas.

Usted ha sido invitado(a) a hacer parte de una sesión de economía experimental que tiene una duración
aproximada de 2h30 y se realizará el día _______ en _________ (lugar de la actividad) en la
ciudad/municipio de __________. Su participación en esta actividad es voluntaria y al final le entregarán
un bono como incentivo por haber participado.

Para esta actividad se hará usos de tabletas. Habrá personal de apoyo que lo ayudará durante la sesión.

7. Identificación de asistentes a las sesiones experimentales mediante la solicitud de cédulas


de ciudadanía para verificar que hayan sido las personas seleccionadas y citadas,
considerando la alta probabilidad de que se presenten personas no seleccionadas
motivadas por la entrega de incentivos.

2.5. Consideraciones finales

Recogiendo los puntos mencionados a lo largo de esta sección, además del repaso detallado de la
evaluación y de los diferentes instrumentos, la capacitación para los investigadores incluirá los
siguientes temas:

• Protocolo de seguridad para el trabajo de campo.


• Aspectos claves en el proceso de sensibilización y consentimiento informado.
• Acciones para promover la confianza entre los participantes y mantener una discusión
participativa.
• Aplicación del enfoque de acción sin daño.
• Acciones básicas de contención emocional.

Página 113 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Cronograma
A continuación se presenta el cronograma de la evaluación, el cual se espera desarrollar en 9 meses:

Año 2019 2020


Actividades

Mes Noviembre Diciembre Enero Febrero Marzo Abril Mayo Junio Julio

Semanas 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Inicio del contrato 11

Definición de las estrategias metodológicas de la evaluación


Diseño muestral y criterios de selección de actores, lugares, y
técnicas para el levantamiento de la información cualitativa
Planeación

Elaboración de las matrices de consistencia de la evaluación


Elaboración del instrumentos de recolección de información 13 de diciembre
Informe metodológico (Producto1) 13
Elaboración programa de captura de datos para las tabletas
Elaboración de manuales
Reclutamiento encuestadores experimentados
Reunión metodológica con el equipo cualitativo
Capacitaciones a encuestadores y supervisores para la prueba
piloto
Levantamiento de

Logística para la prueba piloto 9 semanas después


información

Prueba piloto y ajustes a los instrumentos


Informe de prueba piloto (Producto 2) del inicio del contrato12
Capacitaciones a encuestadores y supervisores para el trabajo de
campo definitivo
Logística previa al trabajo de campo definitivo: envío de material,
viáticos, traslado de encuestadores y supervisores
Trabajo de campo cuantitativo definitivo
Trabajo de campo cualitativo definitivo 18 semanas después del
Informe final de trabajo de campo y primera entrega
documentación bases de datos (Producto 3) inicio del contrato 15
Supervisión posterior, critica, codificación
Depuración base de datos
Resultados

Procesamiento base de datos 24 Semanas después del


Revisión y análisis de la información primaria y secundaria
Informe de resultados y tercera entrega documentación bases inicio del contrato 27
de datos (Producto 4)
Mesa de expertos 32 Semanas después del
Plan de Transferencia e Implementación de Recomendaciones:
Infografías, video y fotografías (Producto 5)
inicio del contrato 22

Página 114 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Referencias
Alonso, L. E. (2007). Sujetos y discurso: el lugar de la entrevista abierta en las prácticas de la
sociología cualitativa. En J. M. Delgado y J. M. Gutiérrez (Coord.), Métodos y técnicas
cualitativas de investigación en ciencias sociales (pp. 225-240). España: Síntesis.

Barreto, I., Velandia-Morales, A. y Rincón-Vásquez, J. (2011). Estrategias metodológicas para el


análisis de datos textuales: aplicaciones en psicología del consumidor. Suma Psicológica, 18
(2), 7-15.

Berg, J., J. Dickhaut y K. McCabe (1995) “Trust, reciprocity and social history” Games and Economic
Behavior, Vol. 10

Bhagavan, M., & Virgin, I. (2004). Generic Aspects of Institutional Capacity Development in
Developing Countries. (S. E. I. Institute, Ed.) Recuperado el 13 Noviembre de 2019, de
www.sei.se:
https://pdfs.semanticscholar.org/ecd7/3f3b451762ff60123ce6e801ffd80cac6559.pdf

Bicchieri, C. and Xiao, E., (2009). “Do the right thing: but only if others do so”, Journal of Behavioral
Decision Making, 22(2), pp.191-208.

Bicchieri, C., (2016). Norms in the wild: How to diagnose, measure, and change social norms. Oxford
University Press.

Blanco, M., Engelmann, D. and Normann, H.T., 2011. “A within-subject analysis of other-regarding
preferences”. Games and Economic Behavior, 72(2), pp.321-338.

Brink, H.I. 2003. Fundamentals of research methodology for health care professionals. Cape Town:
Juta & Company.

Bursztyn, Leonardo, Alessandra L. González, and David Yanagizawa-Drott (2018). “Misperceived


social norms: Female labor force participation in Saudi Arabia.” No. w24736. National
Bureau of Economic Research.

Carvajal, A. (2016). Programa Nacional de Casas de Justicia: Una Esperanza de verdadera justicia.
Universidad Pontificia Bolivariana.

Congreso de Colombia (2000). Decreto 1477 de 2000. Decreto Por El Cual Se Adopta El Programa
Nacional Casas de Justicia. Diario Oficial 44.113.

Cuellar, A.D. (2018). La conciliación en equidad como mecanismo de acceso a la justicia: Casa de
Justicia de la localidad de Kennedy en Bogotá. Pontifica Universidad Javeriana.

Delgado, J. M. y Gutiérrez, J. M. (Coord.). (2007). Métodos y técnicas cualitativas de investigación en


ciencias sociales. España: Síntesis.

Página 115 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Denzin, N. K. (2007). Triangulation. The Blackwell Encyclopedia of Sociology.

Denzin, N. K. y Lincoln, Y. S. (2005). The SAGE Handbook of Qualitative Research. Londres: Sage.

Dohmen, T., Falk, A., Huffman, D., Sunde, U., Schupp, J. and Wagner, G.G., (2011). “Individual risk
attitudes: Measurement, determinants, and behavioral consequences”. Journal of the
European Economic Association, 9(3), pp.522-550.

Fernández, F. (2002). El análisis de contenido como ayuda metodológica para la investigación.


Revista de Ciencias Sociales, 96 (II): 35-53.

Flick, U. (2018). Doing triangulation and mixed methods. Londres: Sage.

Freeze, R. D., & Raschke, R. L. (2007, June). An Assessment of Formative and Reflective Constructs
in IS Research. In ECIS (pp. 1481-1492).

Fundación Ideas Para la Paz (2015). Institucionalidad Socavada. Análisis transversal Justicia Local,
Territorio y Conflicto.

Garandeau, R. (2009). Evaluating and improving the WASH sector.


https://www.ircwash.org/sites/default/files/Garandeau-2009-Evaluating.pdf- - Accessed
May 2019.

García, M., Espinosa, R., Lalinde, S., Arroyave, L & Villadiego, C (2015). Casas de Justicia. Una Buena
Idea Mal Administrada. Centro de Estudios de Derecho, Justicia y Sociedad, Dejusticia.

Gibbs, G. (2018) Analyzing qualitative data. Londres: Sage.

Glaser, B. G., y Strauss, A. L. (1967). The discovery of Grounded Theory: Strategies for qualitative
research. New York: Aldine.

Good, B. J. (2003). Medicina, racionalidad y experiencia: una perspectiva antropológica. Barcelona:


Bellaterra.

Güth, Werner, Rolf Schmittberger, and Bernd Schwarze. "An experimental analysis of ultimatum
bargaining." Journal of economic behavior & organization 3.4 (1982): 367-388.

Hamui-Sutton, A. (2013). Un acercamiento a los métodos mixtos de investigación en educación


médica. Investigación en educación médica, 2(8), 211-216.

Hilton, A. 2003. Should qualitative and quantitative studies be triangulated? International Society of
Nurses.

Isaac, R.M., Walker, J. (1988). “Group size effects in public goods provision: The voluntary
contributions mechanism”. Quarterly Journal of Economics 103, 179–199.

Página 116 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Kohler, C. (2008). Narrative Analysis. En The SAGE Encyclopedia of Qualitative Research Methods
(pp. 539-540). California, SAGE Publications.

Krupka, E.L. and Weber, R.A., 2013. Identifying social norms using coordination games: Why does
dictator game sharing vary? Journal of the European Economic Association, 11(3), pp.495-
524.

La Rota, M., Lalinde, S., Santa mora, S. & Uprimny, R (2014). Ante la Justicia. Necesidades Jurídicas y
Acceso a Justicia en Colombia. Centro de Estudios de Derecho, Justicia y Sociedad,
Dejusticia.

Ledyard, O., (1995). Public goods: some experimental results. Handbook of experimental
economics, 1.

Lusthaus, C., Anderson, G., & Murphy, E. (1995). Institutional Assessment : A Framework for
Strengthening Organizational Capacity for IDRC's Research Partners. Ottawa: International
Development Research Centre.

Mann, H. B., and D. R. Whitney. (1947). “On a test whether one of two random variables is
stochastically larger than the other”. Annals of Mathematical Statistics 18: 50-60.

Medina, D. T. (2013). INTELIGENCIA COLECTIVA: Convergencia de la administración del


conocimiento e inteligencia competitiva, una forma para la mejora del desempeño
operativo de la banca múltiple mexicana.

Merlinsky, G. (2006). La entrevista como forma de conocimiento y como texto negociado. Cinta
Moebio, 27, 248-255. Recuperado de http://www.moebio.uchile.cl/27/merlinsky.html

Ministerio de Justicia y del Derecho (2012). Programa Nacional de Casas de Justicia. Cartilla “La
Justicia entra por casa”.

Ministerio de Justicia y del Derecho (2015). Documento de Política. Acceso a la Justicia Alternativa,
Programas Nacionales de Casas de Justicia y Centros de Convivencia y Ciudadana.

Ministerio de Justicia y del Derecho (2015). Guía de Implementación Del Programa Nacional De
Casas De Justicia y Centros De Convivencia Ciudadana, “Donde los Valores Ciudadanos
Construyen Paz”.

Ministerio de Justicia y del Derecho (2017). ABC, Plan Decenal del Sistema de Justicia 2017-2027.

Ministerio de Justicia y del Derecho (2017). Plan Decenal Del Sistema De Justicia 2017-2027.
Actuaciones de Policía Judicial y Apoyo Técnico Científico a la Administración de Justicia.

Ministerio de Justicia y del Derecho (2018). Informe de Rendición de Cuentas, Programa Nacional
de Casas de Justicia y Convivencia Ciudadana 2017-2018.

Página 117 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Ministerio de Justicia y del Derecho (2019). Manual de implementación y sostenibilidad del


Programa Nacional de Casas de Justicia y Convivencia Ciudadana. Código M-ANAJ-04,
Versión 03, Vigencia (13/05/2019).

Ministerio de Justicia y del Derecho (2019). Procedimiento de implementación del Programa


Nacional de Casas de Justicia y Convivencia Ciudadana. Código P-ANAJ-04, Versión 03,
Vigencia (13/05/2019).

North, D. (1991). Institutions. The Journal of Economic Perspectives, 5(1), 97-112.

Organisation for Economic Co-operation and Development-OECD. (2010). Glossary of Key Terms in
Evaluation and Results Based Management. Recuperado de:
https://www.oecd.org/dac/evaluation/2754804.pdf

Ostrom, E. (2005). Understanding Institutional Diversity. Princeton and Oxford: Princeton University
Press.

Patton, M. Q., 1987. How to Use Qualitative Methods in Evaluation. Newbury Park(California): Sage.

Poundstone, William, 1992, Prisoner's Dilemma New York: Doubleday.

Powell, M. A., McArthur, M., Chalmers, J., Graham, A., Moore, T., Spriggs, M., & Taplin, S. (2018).
Sensitive topics in social research involving children. International Journal of Social Research
Methodology. https://doi.org/10.1080/13645579.2018.1462882

Ramalingam, B.; Jones, H.; Reba, T. and Young, J. (2008). Exploring the science of complexity : Ideas
and implications for development and humanitarian efforts. ODI Working Paper 285.
London, UK, Overseas Development Institute. Retrieved from the World Wide Web:
http://www.odi.org.uk/resources/odi-publications/working-papers/285-
sciencecomplexity.pdf

Ricoeur, P. (1998). Tiempo y narración. (Vol. 1: “Configuración del tiempo en el relato histórico”).
México: Siglo XXI.

Rogers, P. J. (2008). ‘Using Programme Theory to Evaluate Complicated and Complex Aspects of
Interventions’. In: Evaluation, vol. 14, no. 1, p. 29-48.

Saldaña, J. (2016) The coding manual for qualitative researchers. London: Sage.

Secretaría Distrital de Bogotá (2005). Convenio Interadministrativo 01-09-2005. Convenio Local Para
El Desarrollo y Puesta En Funcionamiento Del Programa De Casas De Justicia y Convivencia
Ciudadana En Bogotá D.C.

Selten, Reinhard, and Rolf Stoecker. "End behavior in sequences of finite Prisoner's Dilemma
supergames A learning theory approach." Journal of Economic Behavior & Organization 7.1
(1986): 47-70.

Página 118 de 119


Concurso de Méritos Abierto CM-014-19
Propuesta Técnica – Enfoque Metodológico
UT IPSOS - Economía Urbana

Sen, A. (2000). Desarrollo y libertad. Barcelona: Planeta.

Snowden, D. J. and Boone, M. E. (2007). ‘A Leader’s Framework for Decision Making’. In: Harvard
Business Review, November 2007. Retrieved 19 March 2009 from the World Wide Web :
http://www.mpiweb.org/CMS/uploadedFiles/Article%20for%20Marketing%20-
%20Mary%20Boone.pdf

Strauss, A. y Corbin, J. (2002). Bases de la investigación cualitativa. Técnicas y procedimientos para


desarrollar la Teoría Fundamentada. Medellín: Universidad de Antioquia.

Turner, P., & Turner, S. (2009). Triangulation in practice. Virtual Reality, 13(3), 171-181.

UNDP (2009). Capacity Development. A UNDP Primer. Recuperado el 13 Noviembre de 2019, de


www.undp.org/capacity:
https://www.undp.org/content/dam/aplaws/publication/en/publications/capacity-
development/capacity-development-a-undp-primer/CDG_PrimerReport_final_web.pdf.

Uprimny, R. & Guzmán, D (2007). Centro De Estudios De Derecho, Justicia y Sociedad Experiencias
Exitosas De Lucha Contra La Impunidad.

USAID (2012). Manual De Procesos y Procedimientos Del Programa Nacional De Casas De Justicia.

Vargas, Juan, Megan Rounseville, Jorge Silva, Diana Ortiz and Adrienne Hathaway (2019) “The
Twists and Turns in the Road to Justice in Colombia”, unpublished manuscript.

Vela, M.M., Rodríguez, J.E., Rodríguez, A.L. & García, L.M. (2011). Acción sin daño como aporte a la
construcción de paz: propuesta para la práctica. Fundación para la cooperación Synergia,
Universidad Nacional de Colombia, Agencia Suiza para el Desarrollo y la Cooperación,
Agencia Alemana para la Cooperación Internacional, Programa de las Naciones Unidas para
el Desarrollo.

Walker, J. y E. Ostrom (2002) “Conclusions” Chapter 15 in Ostrom, E. and J. Walker (eds.), Trust and
Reciprocity: Interdisciplinary Lessons from Experimental Research, Russell Sage Foundation,
New York: 323–351.

Weyers, M., Strydom, H., & Huisamen, A. (2008). Triangulation in social work research: the theory
and examples of its practical application. Social Work/Maatskaplike Werk, 44(2).

Wilcoxon, F. (1945). “Individual comparisons by ranking methods”. Biometrics 1: 80-83.

Zelmer, Jennifer (2003). "Linear public goods experiments: A meta-analysis." Experimental


Economics 6(3): 299-310.

Página 119 de 119

También podría gustarte