Traducido del inglés al español - www.onlinedoctranslator.

com

Consideraciones para aplicar el razonamiento lógico

para explicar los resultados de la red neuronal

para trabajos futuros.

c 2020 para este artículo de sus autores. Uso permitido bajo Creative Com-
Derechos de autor©

Mons Licencia Atribución 4.0 Internacional (CC BY 4.0).

2. Trabajo relacionado

En esta sección, exploramos tres temas: el primero se refiere a las taxonomías XAI
existentes, para catalogar las técnicas de vanguardia existentes que explican las redes
neuronales. Posteriormente, hablaremos de los tipos de tareas con las que se proponen
técnicas de explicación y su importancia para la evaluación por parte de humanos.
Finalmente, definimos los tipos de razonamiento y su relación con las explicaciones XAI.

2.1 Explicación Taxonomías

Ha habido artículos que han categorizado métodos de explicación para redes neuronales.
Entre ellos, [24, 3, 12, 20] fueron muy útiles para sentar las bases de nuestra investigación:
describen una taxonomía integral de métodos de interpretabilidad relacionados con redes
neuronales profundas (DNN), que incluyen objetivos, propiedades y arquitectura, junto con
principios rectores. por su seguridad y confiabilidad. Además, otras investigaciones van más
allá del análisis de modelos de redes neuronales y nos ayudan a ampliar el conocimiento
sobre los métodos de explicación y los modelos utilizados [2, 11]. Sin embargo, hay dos
encuestas que también se centran en el impacto de las explicaciones en los usuarios [14,
22]. El primero proporciona una categorización entre objetivos de diseño para algoritmos
interpretables considerando diferentes grupos de usuarios XAI. Este último introduce un
marco conceptual que explica cómo los procesos de razonamiento humano informan las
técnicas XAI, que profundizaremos en las siguientes secciones.

2.2 Tipos de tareas

Además de determinar qué XAI y qué técnicas utilizar, otro paso clave es identificar qué tipo
de tarea realizará el usuario. Comenzamos a estudiar los tipos de tareas a partir de los
artículos [7] y [4], siguiendo la distinción presente en este último y teniendo en cuenta dos
tipos de tareas, proxy y reales. En los estudios que utilizan tareas proxy, el usuario evalúa
principalmente qué tan bien percibe las explicaciones de la IA y lo que ha aprendido,
centrándose en la IA y en los objetivos reales que tienen los usuarios al interactuar con el
sistema. [16, 25, 21]. Por el contrario, los estudios que utilizan tareas reales evalúan la
cooperación entre los usuarios y la IA: el usuario tiene un papel principal en la decisión a
tomar y puede decidir o no utilizar los consejos de la IA para completar la tarea [8, 4, 23]. El
artículo en [4] también critica la metodología de evaluación actual de XAI basada en tareas
proxy, lo que demuestra que sus conclusiones pueden no reflejar el uso del sistema en
tareas reales. Dado este descubrimiento, consideramos tareas reales en las
transformaciones explicadas en la Sección 4.

2.3 Tipos de razonamiento

Durante la fase de evaluación, donde se produce la interacción entre el usuario y la IA,

entra en juego un factor fundamental: el tipo de razonamiento. Comenzamos a
analizar este tema a partir del artículo [22], citado anteriormente. Los autores destacan
que el papel de la IA es facilitar la conexión del usuario con sus decisiones, a partir del
razonamiento expresado a través de las explicaciones de la IA. En consecuencia, una opción
razonable es explorar en profundidad un subconjunto de tipos de razonamiento, por
ejemplo, los lógicos: inductivo, deductivo y abductivo. Aquí, consideramos la teoría
silogística de Peirce [9], y observamos que podemos traducir entre ellas intercambiando la
conclusión (o resultado), la premisa mayor (la regla) y la premisa menor (la causa).
Investigaremos estos tipos de razonamiento en la siguiente sección.

3 Investigación de los tipos de razonamiento en interfaces

inteligentes explicables

En esta sección, investigamos los tipos de razonamiento mencionados anteriormente

tomando prestados algunos ejemplos de la literatura. El artículo [4] analiza brevemente el
razonamiento inductivo y deductivo, explicando cómo integrarlos en un contexto de
evaluación del usuario, pero sin una exploración en profundidad. Además, el razonamiento
abductivo se utiliza a menudo (sin querer) para comparar técnicas de explicación novedosas
con técnicas de última generación en las que el papel del usuario es identificar cuál es la
mejor explicación generada durante la evaluación. Antes de comenzar con las definiciones,
introducimos los tres componentes identificados en todo tipo de razonamiento (cf. Peirce).
teoría silogística [9]): uno (o más) Causa (o Caso/Explicación/Razón), (o
Efecto (u Observación/Resultado) y Regla Generalización/Teoría).

Tabla 1.Artículos ilustrativos que explican los modelos de redes neuronales, divididos según
el tipo de razonamiento, red y tarea.

Año Artículo razonamiento de la tarea Tipo/s de red Tipo/s de tarea

2018 [15] deductivo MLP apoderado

2019 [5] inductivo RNN real

2017 [21] abductivo LSTM, CNN apoderado

Al aplicar esta teoría a las interfaces XAI, es importante identificar si su

representación esimplícito o explícito. Por ejemplo, una regla o una causa está
implícita cuando proviene del modelo mental del usuario y no de la IA. En cambio, es
explícito cuando consideramos el modelo mental de la IA, es decir, lo que ha
aprendido en el proceso de entrenamiento y sus explicaciones sobre la predicción del
resultado. El artículo de referencia para los conceptos que vamos a describir es el de
[9] (ver Tabla 1). El orden de los componentes descritos no es importante, excepto el
último: utilizaremos este último para resaltar cuál es el razonamiento a suscitar en el
usuario.

Deducción: dada una causa y una regla, deducir un efecto.Este tipo de razonamiento
comienza con reglas generales y examina las posibilidades de llegar a una conclusión lógica
específica. El razonamiento deductivo también se denomina lógica "de arriba hacia abajo".
porque normalmente comienza con una afirmación general y termina con una conclusión
más limitada y específica. El artículo [15] contiene un ejemplo de este razonamiento, como
representado en la Figura Causa : Las palabras de la IA en rojo que identifican una situación negativa o

1. sentimiento positivo. Regla : Ciertas palabras contribuyen al sentimiento del texto.

(implícito). Efecto : La predicción del sentimiento.

Figura 1.Las palabras de la IA en rojo que identifican un sentimiento negativo o positivo son las
Causa ; el Regla está implícito (relacionado con el modelo mental del usuario respecto
su conocimiento semántico y no proporcionado por la IA); la elección del usuario sobre el sentimiento
predicción (ya sea positiva o negativa), es la Efecto [15].

Inducción: dada una causa y un efecto, induce una regla.Este tipo de razonamiento implica
sacar una conclusión general a partir de un conjunto de observaciones específicas. También se la
denomina lógica “de abajo hacia arriba” porque implica ampliar premisas específicas hasta
convertirlas en generalizaciones más amplias. El artículo [5] es un ejemplo de inductivo.
razonamiento, que se muestra en la Figura 2. Causa : Las explicaciones basadas en ejemplos de la IA.
Efecto : La IA no pudo reconocer el boceto del usuario. Regla : Cierto
Las propiedades de los bocetos representan un objeto (implícito).

Abducción: dado un efecto y una regla, abducir una causa.Este tipo de razonamiento generalmente
comienza con un conjunto incompleto de observaciones y continúa hasta la explicación más probable
posible. Un ejemplo de razonamiento abductivo es [21], como se describe en
mostrado en la Figura 3. Efecto : viene dado por la predicción del sentimiento de la IA. Regla :
El gráfico en los cuadros de explicación le da al usuario una intuición de los pesos que
usa la IA para calcular la valencia de la oración (implícita). Causa : El usuario
selecciona los pesos que considera mejores (tarea proxy).
Figura 2.Las explicaciones basadas en ejemplos mostradas por la IA identifican Causa ; el
Efecto es que la IA no reconoció el boceto que dibujó el usuario; entonces, el usuario necesita
para entender el Regla de los ejemplos de la IA. [5].

Fig. 3.La predicción del sentimiento de la IA representa la Efecto ; el gráfico de la IA y

El resaltado de sentimiento que identifica un sentimiento negativo o positivo representa el
Regla ; entonces el usuario tiene que encontrar lo mejor Causa , como: “Elijo la explicación B porque
resalta mejor el significado del sentimiento” [21].

4 Transformando explicaciones a diferentes tipos de

razonamiento

El objetivo de transformar la tarea de razonamiento es analizar posibles preferencias o

diferencias de desempeño del usuario durante la fase de evaluación. Además, obtener los
tres tipos de razonamiento nos permite encontrar tipos de razonamiento subrepresentados
en la literatura y estudiar si funcionan mejor con los usuarios que el razonamiento de la
tarea original. Las explicaciones de razonamiento abductivo (Fig. 3) son bastante fáciles de
generar y tienen un buen poder de comprensión: este compromiso podría ser la razón por
la que son el razonamiento más utilizado para comparar la calidad de las técnicas de
explicación. En cuanto a las explicaciones inductivas (Fig. 2), podemos generar fácilmente
ejemplos basados en datos, pero la comprensibilidad está limitada por los ejemplos
seleccionados. Las explicaciones deductivas (Fig. 1) son más difíciles de generar.
Erate cuando tenemos que crear reglas explícitas, pero que sean muy comprensibles para el
usuario. Como se mencionó en la Sección 2, la tarea de transformación resultante será real,
para evitar el error señalado en el artículo [4]. Esto se puede lograr revisando la pregunta de
la tarea desde la perspectiva de la IA a la del usuario. Ahora, representemos algunas ideas
para formular la transformación con los tres tipos de razonamiento descritos
anteriormente, considerando que muchas veces tenemos una regla o causa explícita o
implícita, y casi siempre un efecto dado por la IA (sugerencia).

Deductivo a Inductivo y Abductivo.Para adaptarnos al razonamiento inductivo,

necesitamos reemplazar la causa dando ejemplos similares o diferentes sobre los datos
presentes en la tarea y basados en el resultado de la IA, generando así explicaciones
basadas en ejemplos. Entonces, los usuarios captan la Regla (Eso se vuelve im-
plicit) que llevó a la IA a ese resultado, y sacar su conclusión Efecto acerca de

los datos de la tarea dada. Para pasar al razonamiento abductivo, la IA debería proporcionar una
Causa basado en los datos de la tarea. Después de eso, necesitamos hacer el Regla implícito
No confundir el razonamiento con el deductivo.

Inductivo a Deductivo y Abductivo.Para pasar al caso deductivo, la IA necesita

explícitamentedefinir un Regla , que también incluye un Causa . Podemos ac-
Logre esto aprovechando las propiedades del modelo de IA o agregando uno
complementario para obtener una regla. Además, en ocasiones el usuario puede
tomar la decisión sin obtener la Efecto explícitamente de la IA, pero dejando que el
El usuario lo deduce de las reglas y causas. En cambio, pasando del razonamiento inductivo
al abductivo, utilizamos los rasgos comunes en los ejemplos inductivos para crear un
Causa .

Abductivo a Inductivo y Deductivo.A partir de este tipo de razonamiento,

suponemos que ya tenemos una Efecto dado por la IA. Para traducir al
caso inductivo, necesitamos reemplazar el Causa dado por los datos de la tarea con
el de las explicaciones basadas en ejemplos y transformar la Regla aimplícito.
Para pasar al razonamiento deductivo, debemosexplícitamentedefinir la IA Regla ,
que puede cambiar el original Causa , y si queremos ocultar el Efecto .

5 Conclusión y trabajo futuro

En resumen, investigamos las consideraciones que surgen al transferir entre diferentes
tipos de razonamiento lógico, considerando las tareas reales como tareas de
transformación resultantes. Identificamos la importancia de diferenciar entre
representación de reglas implícita y explícita. También consideramos si la elección del tipo
de razonamiento equilibra los desafíos técnicos de generar las explicaciones y la efectividad
de las explicaciones para los humanos. Como trabajo futuro, planeamos validar estas ideas
en evaluaciones de usuarios para diferentes tipos de razonamiento. Además, planeamos
crear una taxonomía que considere el razonamiento y los tipos de tareas, además de otras
métricas útiles relacionadas con la explicación XAI, y explorar más a fondo el razonamiento
lógico en otros modelos de caja negra más allá de las redes neuronales.
Referencias

1. Bach, S., Binder, A., Montavon, G., Klauschen, F., Müller,

KR, Samek, W.: Sobre explicaciones en píxeles para decisiones de clasificadores no
lineales mediante propagación de relevancia en capas. MÁS UNO 10(7), 1–46 (7 de
julio de 2015). https://doi.org/10.1371/journal.pone.0130140, https://doi.org/
10.1371/journal.pone.0130140
2. Barredo Arrieta, A., Díaz Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado
González, A., García, S., Gil-López, S., Molina, D., Benjamins, VR, Chatila, R., Herrera,
F.: Inteligencia artificial explicable (xai): conceptos, taxonomías, oportunidades y
desafíos hacia una IA responsable. Fusión de información (12 de 2019). https://
doi.org/10.1016/j.inffus.2019.12.012
3. Buhrmester, V., Münch, D., Arens, M.: Análisis de explicadores de redes neuronales profundas
de caja negra para visión por computadora: una encuesta. ArXivabs/1911.12116 (2019)
4. Buçinca, Z., Lin, P., Gajos, KZ, Glassman, EL: Las tareas proxy y las medidas
subjetivas pueden ser engañosas al evaluar sistemas de IA explicables. Actas de la
25ª Conferencia Internacional sobre Interfaces de Usuario Inteligentes (marzo de
2020). https://doi.org/10.1145/3377325.3377498, http://dx.doi.org/
10.1145/3377325.3377498
5. Cai, CJ, Jongejan, J., Holbrook, J.: Los efectos de las explicaciones basadas en ejemplos en una
interfaz de aprendizaje automático. En: Actas de la 24ª Conferencia Internacional sobre
Interfaces de Usuario Inteligentes. pag. 258–262. IUI '19, Association for Computing
Machinery, Nueva York, NY, EE. UU. (2019). https://doi.org/10.1145/3301275.3302289, https://
doi.org/10.1145/3301275.3302289
6. Choi, E., Bahadori, T., Schuetz, A., Stewart, W., Sun, J.: Retener: modelo predictivo interpretable
en atención médica utilizando un mecanismo de atención en tiempo inverso (08 de 2016)
7. Doshi-Velez, F., Kim, B.: Hacia una ciencia rigurosa del aprendizaje automático interpretable
(2017)
8. Fang, H., Gupta, S., Iandola, F., Srivastava, RK, Deng, L., Dollar, P., Gao, J., He, X.,
Mitchell, M., Platt, JC, et al .: De los subtítulos a los conceptos visuales y viceversa.
Conferencia IEEE 2015 sobre visión por computadora y reconocimiento de
patrones (CVPR) (junio de 2015). https://doi.org/10.1109/cvpr.2015.7298754, http://
dx.doi.org/10.1109/CVPR.2015.7298754
9. Flach, P., Kakas, A.: Razonamiento abductivo e inductivo: antecedentes y cuestiones (01
2000). https://doi.org/10.1007/978-94-017-0606-3-1
10. Guidotti, R., Monreale, A., Ruggieri, S., Pedreschi, D., Turini, F., Giannotti, F.:
Explicaciones locales basadas en reglas de los sistemas de decisión de caja negra.
ArXiv abs/1805.10820 (2018)
11. Guidotti, R., Monreale, A., Ruggieri, S., Turini, F., Giannotti, F., Pedreschi, D.: Un
estudio de métodos para explicar los modelos de caja negra. Encuestas de
Computación ACM51(5), 1–42 (enero de 2019). https://doi.org/10.1145/3236009,
http://dx.doi.org/10.1145/3236009
12. Huang, X., Kroening, D., Ruan, W., Sharp, J., Sun, Y., Thamo, E., Wu, M., Yi, X.: Un estudio
sobre la seguridad y la confiabilidad de las profundidades Redes neuronales:
verificación, pruebas, ataque y defensa adversarios e interpretabilidad. Revisión de
informática37,100270 (agosto de 2020). https://doi.org/10.1016/j.cosrev.2020.100270,
http://dx.doi.org/10.1016/j.cosrev.2020.100270
13. Lundberg, S., Lee, SI: Un enfoque unificado para interpretar las predicciones de los modelos (12 2017)
14. Mohseni, S., Zarei, N., Ragan, ED: Un estudio multidisciplinario y un marco para el diseño
y evaluación de sistemas de IA explicables (2018)
15. Nguyen, D.: Comparación de la evaluación automática y humana de explicaciones locales
para la clasificación de textos. En: Actas de la Conferencia de 2018 del Capítulo
Norteamericano de la Asociación de Lingüística Computacional: Tecnologías del
Lenguaje Humano, Volumen 1 (artículos extensos). págs. 1069-1078. Asociación de
Lingüística Computacional, Nueva Orleans, Luisiana (junio de 2018). https://doi.org/
10.18653/v1/N18-1097, https://www.aclweb.org/anthology/N18-1097
16. Rajani, NF, Mooney, RJ: Conjunto de explicaciones visuales para vqa. En: Actas del
taller NIPS 2017 sobre lenguaje e interacción basados en lo visual (ViGIL)
(diciembre de 2017), http://www.cs.utexas.edu/users/ai-labpubview.php?
PubID=127684
17. Ribeiro, M., Singh, S., Guestrin, C.: “¿por qué debería confiar en ti?”: Explicando las predicciones
de cualquier clasificador. págs. 97-101 (02 2016). https://doi.org/10.18653/v1/N16-3020

18. Selvaraju, RR, Cogswell, M., Das, A., Vedantam, R., Parikh, D., Batra, D.: Grad-cam:
explicaciones visuales de redes profundas mediante localización basada en gradientes.
Revista internacional de visión por computadora128(2), 336–359 (octubre de 2019).
https://doi.org/10.1007/s11263-019-01228-7, http://dx.doi.org/10.1007/
s11263-019-01228-7
19. Shrikumar, A., Greenside, P., Kundaje, A.: Aprendizaje de características importantes mediante la
propagación de diferencias de activación (04 de 2017)
20. Tjoa, E., Guan, C.: Una encuesta sobre inteligencia artificial explicable (xai): hacia la xai
médica (2019)
21. Tsang, M., Sun, Y., Ren, D., Liu, Y.: ¿Puedo confiar más en ti? explicaciones jerárquicas
independientes del modelo (2018)
22. Wang, D., Yang, Q., Abdul, A., Lim, B.: Diseño de IA explicable centrada en el usuario basada en
la teoría (05 de 2019). https://doi.org/10.1145/3290605.3300831
23. Yin, M., Vaughan, J., Wallach, H.: Comprender el efecto de la precisión en la
confianza en los modelos de aprendizaje automático. págs. 1 a 12 (04 de 2019).
https://doi.org/10.1145/3290605.3300509
24. Yu, R., Shi, L.: Una taxonomía basada en el usuario para la visualización del aprendizaje profundo.
Informática visual2 (09 2018). https://doi.org/10.1016/j.visinf.2018.09.001
25. Zhou, B., Sun, Y., Bau, D., Torralba, A.: Descomposición de bases interpretables para
explicación visual. En: Actas de la Conferencia Europea sobre Visión por Computador
(ECCV) (septiembre de 2018)