La inteligencia artificial (IA) ha entrado progresivamente en nuestra

rutina, con operaciones que van desde personalizar la publicidad que

vemos en Internet hasta determinar si nuestra última compra con
tarjeta de crédito es sospechosa de fraude. En la gran mayoría de los
casos, estas decisiones se delegan en los denominados «algoritmos de
caja negra»: aquellos en los que no es posible expresar de manera
explícita la regla utilizada para la decisión. Sabemos qué responde la
máquina ante cada caso, pero nunca por qué. A medida que la IA
expande su ámbito de aplicación, este proceder «ciego» está generando
problemas cada vez más serios.

Llamó la atención del público por primera vez el caso destapado por
ProPublica referente a E.U. Northpointe, una empresa que diseñó una
caja negra para predecir si los presos estadounidenses acabarían
reincidiendo o no, una información que luego se empleaba para decidir
si se les concedería la libertad condicional. Tras un análisis detallado,
se hizo evidente que el algoritmo era, de alguna manera, «racista»: a
los presos afroamericanos se les asignaban, con independencia de su
historial, peores predicciones que a los blancos, asumiendo que
reincidirían con mayor frecuencia. Para comprender este problema,
conocido como «sesgo algorítmico»,es necesario profundizar en lo que
realmente son la IA y los métodos de aprendizaje automático.

TAMBIÉN TE PUEDE INTERESAR

Inteligencia artificial MÁS INFORMACIÓN

El primer problema de estas herramientas es su mismo nombre. Por

muy útiles que sean sus aportaciones, es imprescindible reconocer que
no existe en ellas ningún sujeto inteligente y tampoco nada que
aprenda, ya que se basan en técnicas meramente mecánicas. El
aprendizaje automático no es nada más —y nada menos— que un
proceso de identificación de patrones en unos datos de entrada y su
aplicación a casos nuevos. A la máquina se le entregan datos en forma
de ejemplos de problemas resueltos, y después generaliza a otros
nuevos empleando los patrones identificados.

En la mayoría de los métodos usados hoy, estos patrones nunca se

hacen explícitos, con lo que nos encontramos con las cajas negras.
Estas incluyen, entre otras técnicas, las denominadas redes neuronales
artificiales. La técnica conocida como aprendizaje profundo añade un
factor de confusión adicional, ya que en esencia resulta idéntica al
aprendizaje automático, solo que cuantitativamente mayor: con más
elementos y mayores necesidades de cálculo. Nada hay de profundidad
ni de comprensión. Una red neuronal con pocas neuronas es
aprendizaje automático; con muchas, aprendizaje profundo.

El problema del algoritmo de reincidencia se debía a que, en los datos

de entrenamiento (que tenían la forma de historiales de presos,
incluida información sobre si acabaron reincidiendo o no), se
encontraban sobrerrepresentados los afroamericanos reincidentes.
Esto llevó al algoritmo a concluir que los afroamericanos reinciden en
mayor medida, y así lo incorporó en sus predicciones. El sesgo contra
las personas de raza negra lo introduce el mismo algoritmo en su
funcionamiento correcto, de ahí el nombre de sesgo algorítmico.

CONTENIDOS RELACIONADOS

 El problema de la caja negra

 Los sesgos de los algoritmos
 El traje nuevo de la inteligencia artificial
VER MÁS

Otro ejemplo reciente es el que emergió en una red social que señalaba
con mucha más frecuencia las fotos de mujeres no blancas como
contenido inapropiado. Al parecer, el algoritmo se entrenaba con
fotografías publicitarias como ejemplo de contenido válido, y con
pornografía como ejemplo de contenido no permitido. Aparentemente
la base de datos de pornografía era mucho más racialmente diversa que
la de publicidad, lo que llevó al algoritmo a generalizar con más
facilidad que la foto de una mujer no blanca correspondía a contenido
inapropiado.

En los algoritmos de caja negra solo es posible detectar el sesgo a

posteriori y tras haber realizado análisis específicos. Por ejemplo, en el
caso del algoritmo de reincidencia, tendríamos que enviar perfiles
similares de presos de diferente raza y después comparar las
respuestas. Pero, si no nos percatamos de que la raza era un problema
al construir nuestra base de datos, ¿cómo se nos podría ocurrir llevar a
cabo semejantes pruebas? ¿Y si el sesgo perjudica no según la raza,
sino según alguna combinación más compleja de rasgos, como por
ejemplo afroamericanos jóvenes y pobres?

A ello debemos añadir el riesgo de «sobreajuste», también derivado de

la generalización de ejemplos. Imaginemos que entrenamos el
algoritmo de reincidencia  con un número relativamente pequeño de
historiales y que, por pura casualidad, resulta que los convictos cuya
foto tiene un ligero reflejo en la esquina superior izquierda son
exactamente los reincidentes. Si, por mera coincidencia en los datos,
existiese ese patrón, la máquina lo detectaría y lo emplearía para basar
sus predicciones. Al estudiar su tasa de aciertos, parecería que el
algoritmo anticipa la reincidencia con gran precisión. Sin embargo,
fallaría estrepitosamente al aplicarlo a historiales nuevos, ya que los
patrones que ha extraído no tienen sentido; es decir, no se
corresponden con ningún fenómeno conocido o comprobable.

Abandonar una decisión tan importante como la concesión de libertad

condicional a un sistema automático puede llevar a injusticias que, por
si fuera poco, permanecerán escondidas en las opacas entrañas de la
caja negra. Estas injusticias, no debemos olvidar, son responsabilidad
de los seres humanos que se apoyan en una máquina así para tomar
tamañas decisiones.

Una decisión relevante nunca debería ser simplemente delegada en

una máquina. Antes bien, deberíamos ver la IA solo como una ayuda.
Una ayuda valiosa pero solo eso: un dato adicional que nos puede
servir de apoyo a la hora de tomar una decisión o que aumenta la
rapidez con que podemos acometerla.
Si la IA solo fuera una técnica más para ayudar al ser humano a tomar
decisiones, que el aprendizaje automático no aprenda y que las cajas
negras no comprendan no debería ser un inconveniente. Sin embargo,
sí que presenta un problema adicional que a menudo pasa inadvertido:
no es solo que las máquinas no comprendan, sino que tampoco nos
dejan comprender.

En este punto resulta clave distinguir entre la comprensión del

algoritmo y la comprensión de la decisión que este genera. Podemos
tener un acceso total al código del algoritmo y a los pasos que establece
para resolver un problema. Sin embargo, de su complejidad interna
pronto emergerá una oscuridad total. Aunque sus mecanismos sean
simples, el resultado es «complejo», en el sentido en que las ciencias de
la complejidad emplean esta palabra: un sistema complejo es uno en el
que unas pocas reglas simples dan lugar a fenómenos que no pueden
deducirse a partir de esas mismas reglas. Sabemos cómo funciona el
algoritmo, pero no somos capaces de predecir ni explicar sus
resultados.

Todo esto podría llevarnos al desánimo. A asumir que, o bien

renunciamos a nuestra necesidad de comprender y aceptamos dejar
nuestro destino en manos de las cajas negras, o bien nos convertimos
en neoluditas cerrados a los progresos de la técnica y perdemos las
oportunidades que la IA —pese a lo desacertado de su nombre— nos
propone. La buena noticia es que lo anterior no es cierto. Hay una
tercera vía: pedir explicaciones a la IA.
Existen alternativas técnicamente viables a los algoritmos de caja
negra, las cuales se desarrollarán al ritmo que la sociedad las demande.
De hecho, hay dos maneras principales de «abrir» la caja negra.

La primera consiste en el uso de «modelos subrogados». Estos

constituyen versiones simplificadas de la caja negra, pero que tienen el
potencial de ser comprendidos por las personas. Sin embargo, el
modelo subrogado es distinto de la caja negra y, por tanto, puede dar
lugar a decisiones diferentes, por lo que comprender las decisiones de
uno no significa haber comprendido las del otro. Además, las técnicas
para construir modelos subrogados son tremendamente complejas.

Entonces, ¿por qué no utilizar un modelo simple y que podamos

comprender de manera directa? Esto es precisamente lo que pretende
la IA interpretable. Las alternativas con mejor potencial de
interpretación incluyen los modelos basados en puntuaciones, en los
que pasamos lista a una serie de criterios y asignamos puntuaciones
según las respuestas a modo de test, que sumamos al final. Contamos
también con las regresiones logísticas, muy útiles a la hora de tratar
con problemas binarios (aquellos cuya solución es «sí» o «no»), en los
cuales una media ponderada de puntuaciones se transforma mediante
una función que hace que los resultados encajen dentro del intervalo
comprendido entre 0 y 1, con lo que pueden representar la
probabilidad de un evento. También son extremadamente útiles los
árboles de decisión, en los que varias preguntas encadenadas nos
llevan a lo que será el resultado final.

Con frecuencia, desarrollar estos modelos simples requiere un trabajo

laborioso de un equipo interdisciplinar, en el que no solo se entrena a
una máquina (lo cual suele realizarse mecánicamente en los algoritmos
al uso), sino que se interactúa repetidas veces con el modelo hasta
encontrar una solución que no solo sea estadísticamente aceptable,
sino que tenga también sentido para el experto.

En algunos casos, desarrollar modelos interpretables resulta

técnicamente difícil, si no imposible, como ocurre con el
procesamiento de imágenes o de voz. Sin embargo, no son éstas las
aplicaciones de la IA con mayor impacto en nuestra vida. En datos
estructurados, como los de los historiales delictivos o médicos, es con
frecuencia posible desarrollar modelos interpretables que funcionan
prácticamente igual de bien que las cajas negras. Además, conviene
tener en cuenta que, a menudo, cuando parece que las cajas negras
realizan predicciones casi perfectas, tras los resultados se esconden los
fantasmas del sesgo algorítmico y del sobreajuste.

Por ejemplo, Cynthia Rudin, de la Universidad Duke, desarrolló en

2019 una alternativa a la caja negra criticada por ProPublica. El
sistema consistía en un esquema simple de puntuaciones para
variables transparentes como la edad, el número total de crímenes y,
en especial, de crímenes violentos. Este modelo tiene un poder
predictivo muy similar al de la caja negra, pero es completamente
transparente y está libre de sesgo algorítmico.
Los modelos interpretables nos ofrecen algo que debemos empezar a
exigir a la IA: que solo es válido aquel modelo en el que podemos
confiar; y que solo podemos confiar en algo que comprendemos y que,
además, tiene sentido cuando lo ponemos en relación con la
experiencia previa y el sentido común. Tenemos derecho a —y es
nuestra responsabilidad— pedir explicaciones.

Esta nueva etapa de la IA requiere un cambio de paradigma. De la

delegación de las decisiones, a las herramientas de apoyo a la decisión;
de las cajas negras, a los modelos transparentes; del modelo generado
automáticamente, al trabajo de un equipo multidisciplinar. Solo desde
esta perspectiva podemos superar la confusión a la que nos
enfrentamos y reorientar los avances de este campo para que sirvan al
ser humano en libertad y responsabilidad