LECTURA TEMA 9

Busuioc, M. (2021), Accountable Artificial Intelligence: Holding Algorithms to Account. Public Admin Rev, 81:
825-836. https://doi.org/10.1111/puar.13293

Accountable Artificial Intelligence: Holding Algorithms to Account

El uso de algoritmos en el sector público es cada vez más frecuente, pero se ha identificado sesgos raciales, de
género y de clase. El artículo intenta identificar los déficits de estos sistemas y reclamar la rendición de
cuentas.

1. El auge de los algoritmos y la necesidad de cheques compensatorios

Los algoritmos de inteligencia artificial están ya presentes en muchos ámbitos de nuestra vida y están
cambiando nuestras sociedades. Las implicaciones que tienen para el sector público son las siguientes: cambio
en las estructuras del servicio público (burocrático) y, sobre todo, en los valores (discreción y juicio
profesional).

Algunos de los sectores donde se ha usado algoritmos son los departamentos policiales, en el sector de salud,
inmigración y educación, en los departamentos de bomberos, etc. Ya se ha encontrado, sin embargo, sesgos
en los sistemas: departamentos policiales con algoritmos basados en prácticas policiales históricas
discriminatorias e ilegales; son difíciles de detectar, de cortar y/o de autocorregir (si un área es identificada
como de "alto crimen", habrá más detenciones y eso retroalimentará el algoritmo).

Aunque, los algoritmos ayudan a mediar la relación entre los individuos y los organismos públicos, y la
responsabilidad ya es un tema de preocupación central, hay una falta de rendición de cuentas.

Rendición de cuentas: compuesta por las fases de información, explicación o justificación y consecuencias (si
es necesario).

2. IA, toma de decisiones algorítmica y poder: cuenta con las lagunas de responsabilidad emergentes

Los algoritmos aprenden solos las reglas que gobiernan su comportamiento. Acumulan fecha y la clasifican
para determinar un modelo, que utilizarán para hacer predicciones de fecha que aún no se ha descubierto.

La toma de decisiones algorítmica es el uso de algoritmos como ayuda o como sustituto del análisis humano,
para tomar o informar (y mejorar la calidad) de decisiones o acciones. En el sector público, normalmente, los
algoritmos no toman la decisión final. En la UE existe el derecho de no estar sujeto a una decisión basada
únicamente en la toma de decisiones automatizada.

La rendición de cuentas en la toma de decisiones algorítmica mixta tiene dos niveles: los resultados
algorítmicos iniciales y cómo se consiguieron, así como el papel que tienen estas recomendaciones
algorítmicas en las decisiones. y/o acciones humanas.

3. Asimetrías que componen la información de los algoritmos:

a) La opacidad inherente de las herramientas de aprendizaje profundo:

Las características de un modelo que identifican los algoritmos pueden no ser interpretables por los humanos.
Una red neuronal artificial puede tener centenares de capas de profundidad, que conllevan miles de
características, de manera que no se sabe cómo se ha llegado a la predicción final del algoritmo.

b) Discreción y algoritmos propietarios:

Aunque actúen por el sector público, muchos algoritmos son propiedad de empresas privadas (dependencia)
y, por lo tanto, no se divulgan públicamente. Las compañías aprovechan esta discreción para evitar las
obligaciones de divulgación o negarse a participar en pruebas independientes del rendimiento del algoritmo
(no transparencia).

c) Complejidad algorítmica:

La complejidad de la IA algorítmica hace que sea casi imposible que los responsables humanos entiendan en
plenitud las interacciones de las características. Como hay interacción entre muchas características, es muy
difícil entender la decisión final del algoritmo.

4. Debate y justificación: Dificultades para "interrogar" la toma de decisiones algorítmica

¿Algoritmos explicables y justificables?

Entender las razones detrás de las predicciones algorítmicas es importante para tomar decisiones basadas en
estas predicciones. Por ello, se está trabajando para hacer los algoritmos más comprensivos. De hecho, se
está utilizando "algoritmos explicativos" para explicar algoritmos opacos, que convierten las características
opacas en comprensibles por la mente humana.

Actualmente sirven en la toma de decisiones de alto riesgo para adoptar algoritmos interpretables: modelos
más dispersos donde es sencillo ver cómo las diferentes variables están relacionadas conjuntamente.

Sin embargo, no existe regulación para obligar a utilizar algoritmos más sencillos y comprensibles o a explicar
su funcionamiento. La legislación de protección de datos de la UE introduce una serie de recursos y garantías
para la toma de decisiones algoritmos, pero éstas son mínimas y ambiguas.

De los intercambios de valores implícitos a explícitos

Los sistemas algorítmicos codifican importantes intercambios de valores o, incluso, intercambios entre
diferentes nociones del mismo valor. Decidir cómo encontrar el equilibrio entre estos es necesariamente un
acto político y no puramente técnico: en función del valor o noción priorizado, el algoritmo llegará a diferentes
resultados.

Se pueden utilizar filtros técnicos en los algoritmos para eliminar sesgos, sin embargo, estos siempre
dependerán de lo que cada grupo considere que es justo. Los estándares de justicia son un debate político.

Resultados algorítmicos: ¿cuáles son los efectos del comportamiento en la toma de decisiones humanas?

Los resultados del algoritmo suelen servir como inputs para la toma de decisiones humanas. Si queremos
entender y explicar las decisiones basadas en algoritmos, debemos entender no sólo el funcionamiento del
algoritmo de IA, sino también la influencia que tienen los resultados del algoritmo. en (restringir) la toma de
decisiones humanas.

La dependencia humana sobre la automatización puede llevar a utilizar de "amortiguadores morales" los
algoritmos, para desvincularse de la responsabilidad sobre la decisión humana. Así se corre el riesgo de
suspender el criticismo, la habilidad de decisión y la propensión a interrogar los resultados.

5. Consecuencias para la toma de decisiones algorítmica

Un primer paso para ofrecer una reparación es diagnosticar el fracaso. Sin embargo, sin la capacidad de
entender las características y el funcionamiento del algoritmo, el público o las personas afectadas
negativamente por decisiones algorítmicas, no pueden impugnar las decisiones tomadas sobre su base y
obtener reparación. Además, sin la transparencia del modelo y la explicación de las lógicas algorítmicas, los
expertos del dominio (usuarios del sector público) tampoco podrán "captar" modelos con un rendimiento
incorrecto.

La administración pública debe ser responsable: garantizar que los sistemas sean revisados de manera
adecuada e independiente; que su funcionamiento sea supervisado continuamente; y que el personal del
sector público esté adecuadamente formado para comprender las herramientas en las que debe confiar.

Esto debe ir acompañado del uso de algoritmos más transparentes y de la responsabilidad de los
desarrolladores, en colaboración con expertos del dominio, de probar e interrogar específicamente no sólo
las implicaciones. técnicas sino también de gobierno.

6. Conclusión sobre la Inteligencia Artificial: ¿inteligencia responsable?

En resumen, los retos que surgen del uso de algoritmos son los problemas en la información compuesta, la
ausencia de una explicación o justificación adecuada del funcionamiento del algoritmo y las dificultades.
consiguientes para diagnosticar el fallo y obtener la reparación.

Por ello, la rendición de cuentas es necesaria: hay que proveer de información para comprender el
funcionamiento algorítmico; explicar los modelos algorítmicos (desarrollar algoritmos más comprensibles y
exigirlos desde el sector público); cooperar entre diseñadores delos sistemas y expertos del dominio;
finalmente, monitorizar el funcionamiento del sistema.

Las cuestiones de transparencia, sesgo, equidad y responsabilidad de la IA no son puramente técnicas y

requieren una visión más amplia de la administración pública.

La cuestión clave en juego: el uso del sector público de herramientas de IA (donde los intereses pueden ser la
privación de la libertad, el uso de la fuerza y el bienestar o la negación de la asistencia sanitaria), requiere una
explicación racional de la toma de decisiones individual.

El uso de algoritmos en el sector público impregna de algoritmos todas las instituciones: el sistema de justicia,
la educación, la aplicación de la ley. Sin embargo, siguen siendo difíciles de desafiar, por eso es necesaria la
regulación legislativa.