Séptima Conferencia de la Asociación Latinoamericana de Filosofía Analítica - 2024

Simposio: Decisiones algorítmicas en contextos políticos

Eleonora Cresto (IIF-SADAF, CONICET)

Eduardo Rivera López (UTDT, IIF-SADAF, CONICET)
Ezequiel Monti (UTDT)
Santiago Armando (IIF-SADAF, CONICET)

A partir de los debates suscitados por el uso del algoritmo COMPAS para la predicción de
reincidencia en los tribunales norteamericanos, ha habido una creciente producción de literatura filosófica
en torno a los problemas presentados por los algoritmos predictivos. En simultáneo, algunos debates
tradicionales sobre la teoría de la decisión y la filosofía del derecho adquirieron nueva relevancia y
pasaron al centro de la escena.

En este contexto, el propósito del simposio es explorar algunas dimensiones del uso de algoritmos
en ámbitos estatales. Estas herramientas prometen mejoras en la toma de decisiones, pero presentan al
mismo tiempo numerosas aristas problemáticas que ameritan elucidación filosófica.

Una primera dimensión problemática es epistémica. La información producida por los algoritmos
predictivos parecería compartir los problemas característicos de la evidencia estadística, identificados hace
varias décadas por autores como Thomson (1986) o Schmalbeck (1986). De ser así, no está claro qué clase
de aserciones están justificadas en virtud de los outputs de sistemas algorítmicos, ni qué tipo de
fundamentos proporcionan para distintos cursos de acción. El problema es particularmente relevante en
contextos judiciales, en donde el uso de información producida por este tipo de sistemas resulta
especialmente atractivo, en virtud de la promesa de mejorar la precisión de las decisiones de los
tribunales.

Incluso si se considera que el uso de evidencia algorítmica es epistémicamente aceptable, nos

enfrentamos con un segundo problema relativo a la legitimidad política. La cesión de las decisiones
colectivas a un procedimiento automatizado, incluso si este procedimiento muestra ser preciso y confiable,
puede perfectamente entrar en conflicto con valores relevantes para las democracias liberales, como la
transparencia y el respeto por la autonomía individual. Los procesos algorítmicos podrían reducir el grado
de incertidumbre epistémica y aun así carecer de legitimidad política.

En tercer lugar, aun si damos por supuesta la existencia de algoritmos epistémicamente confiables
e implementables de modo legítimo, nos topamos un tercer problema, sobre el que se ha producido una
extensa bibliografía en años recientes: la cuestión de la equidad. A partir de resultados como los de
Chouldechova (2017) sabemos que, en condiciones habituales, los algoritmos predictivos no pueden
satisfacer simultáneamente todos los requisitos de equidad que nos parecen deseables. Esto nos enfrenta a
dos discusiones distintas. Por un lado, se vuelve necesario esclarecer en qué consiste el perjuicio que
padecen los individuos a quienes un criterio particular les resulta desfavorable. Por el otro, el problema da
pie a la búsqueda de meta-criterios que nos permitan determinar qué criterios de equidad deberíamos
priorizar.

Los trabajos de este simposio procuran aportar herramientas conceptuales para esclarecer, y
eventualmente contribuir a solucionar, los problemas aquí presentados.

Trabajos a ser presentados

Arrow en los tribunales: Desventuras en la elección de un algoritmo predictivo justo

Eleonora Cresto (IIF-SADAF, CONICET)

Idealmente, un algoritmo predictivo debería satisfacer ciertos criterios de corrección estadística

para ser aceptable. Por ejemplo, pedimos que el algoritmo esté bien calibrado, que tenga un poder
predictivo alto, y que su tasa de errores negativos y positivos sea baja. Además de ello, normalmente
queremos que el algoritmo sea equitativo, o que no trate de manera diferente a diferentes subgrupos de
una población. La manera más evidente de satisfacer este requisito sería pedir que los criterios de
corrección se satisfagan de la misma manera, o en el mismo grado, para los diferentes subgrupos
relevantes. Sabemos, sin embargo, que cuando las tasas base de ocurrencia de cierta propiedad son
desiguales entre los grupos, los criterios mencionados anteriormente no pueden satisfacerse todos a la vez.

Este resultado de imposibilidad generó en los últimos años una nutrida bibliografía,
especialmente en relación al uso de dichos algoritmos en el ámbito legal, por ejemplo para tomar
decisiones sobre prisión preventiva o libertad condicional. Diferentes autores han argumentado a favor de
privilegiar uno u otro criterio, o han propuesto criterios alternativos o secundarios. Otros (entre los que me
cuento) entienden que el escenario descrito favorece una conclusión escéptica: no existe un sentido
objetivo de equidad en algoritmos predictivos.

En este trabajo exploro el uso de herramientas de teoría de la elección social para conceptualizar
los problemas existentes a la hora de elegir un algoritmo particular sobre otros posibles. Dado un conjunto
predeterminado de algoritmos “sensatos” (en un sentido a precisar), los diferentes criterios típicamente
darán lugar a rankings de preferencia diferentes.

Podríamos intentar agregar dichos rankings de algún modo. Sin embargo, puede mostrarse que la
situación es análoga a la planteada por Arrow en su célebre teorema de imposibilidad. Arrow muestra en
1951 que, para una comunidad finita de votantes, si pedimos que se cumplan una serie de propiedades que
intuitivamente corresponden a una buena regla de agregación (Dominio Irrestricto, Pareto Débil, e
Independencia de las Alternativas Irrelevantes), y hay tres o más opciones en juego, la única regla posible
es dictatorial, es decir que el ranking final de opciones siempre coincide con el de uno de los votantes.
Aquí los “votantes” son los diferentes criterios estadísticos, y el conjunto de “opciones sociales” es un
conjunto de diferentes algoritmos predictivos. Argumento que propiedades análogas a las de Arrow
intuitivamente querríamos que se satisfagan aquí también.

Mostrar el problema de la elección de algoritmos en este marco conceptual es ilustrativo en varios

aspectos. Por un lado, la existencia de un dictador es consistente con diferentes intentos por mostrar la
preeminencia de alguno de los criterios primarios en desmedro de los otros. Por otro lado, la imposibilidad
de una agregación real provee un argumento alternativo para defender la conclusión escéptica (esto es, que
no existe un sentido objetivo de equidad), para aquellos que entendemos a todos los criterios primarios
como intuitivamente deseables, y por ende no prescindibles.

Algoritmos predictivos y equidad

Eduardo Rivera López (UTDT, IIF-SADAF, CONICET)

El uso de algoritmos computacionales para predecir el comportamiento humano plantea diversos desafíos
éticos y jurídicos. Uno de ellos es el de si estos algoritmos pueden ser injustos o inequitativos con algunos
individuos en virtud de su pertenencia a un determinado grupo social, económico o étnico.

El ejemplo más discutido de este tipo de posible injusticia es COMPAS, un algoritmo diseñado
para predecir la reincidencia en casos penales. En 2016, la ONG ProPublica publicó un estudio en el que
acusaba al COMPAS de dar resultados sesgados en detrimento de los afroamericanos (Angwin et al.
2016). ProPublica descubrió que la tasa de falsos positivos y falsos negativos era diferente en ambos
grupos. Sin embargo, la empresa (Northpointe) respondió a esta objeción argumentando que el resultado
señalado por ProPublica se debe a que las “tasas base” (es decir, las tasas de reincidencia) de los dos
grupos son diferentes. Según la empresa, lo relevante no es la tasa diferencial de falsos positivos o falsos
negativos, sino que el valor predictivo del algoritmo sea el mismo para los miembros de ambos grupos. Y
estos valores, argumenta la compañía, son similares para blancos y afroamericanos (Dieterich 2016). A
pesar de ser contraintuitivo, se ha demostrado que, en condiciones realistas (es decir, con tasas base
diferentes), un algoritmo que tenga igual valor predictivo arrojará desiguales tasas de error (Chouldechova
2017; Kleinberg 2016).

Mi objetivo en este trabajo es determinar cuáles son exactamente los reclamos que válidamente
puede realizar un miembro de un grupo desaventajado por el hecho de que un algoritmo de este tipo arroje
una tasa mayor de falsos positivos a ese grupo. Exploro diversos posibles reclamos y argumento que los
reclamos justificados son, fundamentalmente, de tres tipos. En primer lugar, existe un reclamo legítimo
por parte de aquellos que son, efectivamente, falsos positivos, independientemente de a qué grupo
pertenezcan. Este reclamo es muy general y no se debe a una desigualdad en la tasa de error entre grupos.
En segundo lugar, hay un reclamo justificado por parte de los individuos falsos positivos que pertenecen al
grupo con mayor proporción de falsos positivos, por el hecho de ser tratados desigualmente frente a los
“verdaderos negativos”. Por último, existe un tercer posible reclamo legítimo en algunos casos en los que
el que el individuo clasificado como falso positivo pertenece a un grupo con una tasa de falsos positivos
más alta que otro. Analizo cuáles son las condiciones necesarias para que ese reclamo esté justificado e
identifico dos: que el grupo sea socialmente desaventajado y que exista alguna conexión causal clara entre
esa desventaja y la diferencia en la tasa base relevante (es decir, la que explica la desigual tasa de error).

Finalmente, exploro brevemente qué se sigue de estos reclamos en términos de derechos de

compensación. Sostengo que dichos derechos existen, aunque en la práctica resultan extremadamente
difíciles de implementar.

¿El fin de la discrecionalidad? La promesa de la hiperprecisión algorítmica.

Santiago Armando (IIF-SADAF, CONICET)

Somos contemporáneos una creciente incorporación de mecanismos algorítmicos a los procesos

estatales de toma de decisiones. El presente trabajo explora cómo este fenómeno nos obliga a replantear el
problema de la discrecionalidad en la aplicación de las normas por parte de las agencias públicas.

De acuerdo con la formulación canónica de H.L.A. Hart, no es posible, en virtud de la textura

abierta del lenguaje, especificar a la perfección todos los casos particulares en los que una regla general es
aplicable. En el mismo sentido, tampoco es deseable trazar líneas demarcatorias tajantes, que podrían
redundar en decisiones particulares injustas (“summum ius, summa iniuria”).

Por su parte, la aspiración de los diseñadores de algoritmos de IA contemporáneos es alcanzar la

máxima granularidad posible. Idealmente, el objetivo es contar con sistemas generales que desplieguen
una perfecta sensibilidad al contexto, y que sean capaces de trazar distinciones más finas de las que un ser
humano podría capturar (entre, por ejemplo, dos individuos aparentemente similares, pero con distinta
probabilidad de repagar un crédito o sobrevivir a un tratamiento).

Las decisiones estatales son un ámbito en el que esta búsqueda es evidentemente relevante. Contar
con reglas generales hipersensibles al contexto podría acercarnos a la promesa moderna de reducción de la
discrecionalidad soberana, lo que se condice con nuestra preocupación por que las decisiones estatales
sean imparciales y respeten la autonomía de las personas. Automatizar decisiones estatales podría
acercarnos a un mundo más respetuoso de algunos valores que tenemos en alta estima.

La tarea a la que nos abocaremos, entonces, es determinar qué tipos de decisiones es posible
automatizar y qué tipos de decisiones es deseable automatizar. A tal efecto, discutiremos una posible
distinción entre decisiones administrativas y decisiones legislativas. Caracterizaremos como decisiones
administrativas a aquellas que implementan un criterio normativo preexistente, mientras que llamaremos
decisiones legislativas a aquellas que instituyen un criterio que hasta el momento estaba indeterminado.

Si esta distinción es sostenible, sólo las decisiones administrativas son en principio

automatizables. Pero esta observación por sí sola no nos lleva muy lejos: es necesario, por un lado,
establecer una tipología de complejidades relativas de las decisiones, para ir más allá de lo que es
realizable “en principio”; y determinar, por otra parte, si existen casos en los que la discrecionalidad es,
por razones diferentes a las señaladas por Hart, deseable.

Respecto de la primera tarea, ofreceremos algunos lineamientos para caracterizar las decisiones
estatales susceptibles de automatización. La segunda tarea requiere reevaluar el argumento según el cual la
inevitabilidad de la discrecionalidad se deriva ante todo de razones epistémicas (ya sea el conocimiento
incompleto o el lenguaje impreciso). Sostendremos que, dados los medios técnicos disponibles
actualmente, esa caracterización es compatible con un grado mayor de discrecionalidad que el que se ha
tendido a creer, pero que de todos modos pueden existir razones no epistémicas, relativas a la preservación
de los lazos sociales, para la preservación de ciertos espacios de discrecionalidad.

Algunos límites epistémicos al uso de algoritmos en la toma de decisiones

Ezequiel Monti (UTDT)

La utilización de algoritmos como guía para la toma de decisiones socialmente importantes es

cada vez más frecuente. Su función usual es ayudar a establecer la ocurrencia o probabilidad de ocurrencia
de un hecho que es considerado relevante para la decisión en cuestión (eg, la probabilidad de que alguien
que está cumpliendo una pena de prisión reincida si se le concede la libertad condicional). Aunque estos
algoritmos suelen llamarse ‘predictivos’, no parecería haber, en principio, ningún obstáculo a que el hecho
relevante sea un hecho pasado en lugar de uno futuro (eg, la probabilidad de que alguien acusado de un
delito lo haya efectivamente cometido).

El debate acerca de la moralidad del uso de estos algoritmos se ha centrado, fundamentalmente, en

su opacidad y en la preocupación por potenciales sesgos que conduzcan a decisiones sistemáticamente
injustas para grupos históricamente discriminados.

Mi preocupación aquí será otra. En primer lugar, examinaré qué estamos justificados en creer en
base al hecho de que, de acuerdo al algoritmo, es el caso que p o es altamente probable que p. Uno podría
pensar que, si el algoritmo es lo suficientemente preciso, o está lo suficientemente bien calibrado,
entonces estamos justificados en creer que p, sin más. Pero esto es un error. En este sentido, argumentaré
que la evidencia algorítmica sólo puede justificar creencias probabilísticas (credences) pero no puede
justificar creencias no-probabilísticas (full beliefs). Sostendré, además, que esto no ocurre con todo tipo de
evidencia: muchas veces estamos justificados en creer que p, incluso reconociendo que no excluye la
posibilidad de que p sea falsa.
 Ahora bien, uno podría pensar que esto no tiene mayor importancia, esto es, que a todo efecto
práctico una probabilidad suficientemente alta de que p es equivalente al hecho de que p, o que, en todo
caso, bastará con decidir teniendo en cuenta la probabilidad de error, de acuerdo al valor esperado de la
decisión o algún otro método de decisión bajo riesgo. Pero esto también es un error. Las creencias
no-probabilísticas juegan un rol central en nuestras vidas que las creencias probabilísticas no pueden
desempeñar adecuadamente.

Por un lado, las creencias no-probabilísticas son fundamentales para construir narrativas o
historias. En este sentido, las creencias probabilísticas no son fácilmente agregables. Incluso si p1, p2, …
pn, son, cada una de ellas, probablemente verdaderas, su conjunción será probablemente falsa. Para narrar
una historia necesitamos apelar a lo que sucedió (o sucederá), no a lo que es probable que haya sucedido
(o suceda).

Por otro lado, las creencias no-probabilísticas son fundamentales para ciertas emociones. Es
adecuado estar orgulloso por haber recibido un premio, pero no porque es probable que lo haya recibido;
es adecuado reprochar a alguien porque realizó una acción moralmente incorrecta, pero no porque es
probable que la haya realizado.

Estas dos limitaciones de las creencias probabilísticas afectan el tipo de decisiones que estamos
justificados en adoptar en base a ellas. Muchas veces es moralmente importante que la decisión que
tomemos se pueda justificar a la luz de una narrativa (eg, mi decisión de casarme) y muchas veces la
justificación de ciertas decisiones depende de la adecuación de ciertas emociones (eg, la justificación de
castigar depende de que sea apropiado reprochar al castigado). Por lo tanto, hay decisiones socialmente
importantes que no pueden fundarse única ni fundamentalmente en evidencia algorítmica.