6/2/2020 Aunque lo parezca, la IA sigue sin entender nada de lo que lee y dice | MIT Technology Review en español

DOMESTIKA
ETNOGRAFÍA APLICADA AL DISEÑO DE... Saber más
Aprende los conceptos básicos para
$15.601 $35.199
diseñar partiendo de las necesidades y...

Pexels / Jimmy Chan

Usamos cookies en este sitio para mejorar la experiencia de usuario.

De acuerdo Más info
Al hacer clic en cualquier enlace de esta página nos da su consentimiento
para utilizar cookies.

https://www.technologyreview.es/s/11843/aunque-lo-parezca-la-ia-sigue-sin-entender-nada-de-lo-que-lee-y-dice 1/6
6/2/2020 Aunque lo parezca, la IA sigue sin entender nada de lo que lee y dice | MIT Technology Review en español

Inteligencia Artificial (/c/inteligencia-artificial)

Aunque lo parezca, la IA sigue sin entender nada

de lo que lee y dice
Una nueva investigación del Instituto Allen, que será premiada por su excelencia, afirma que aunque la
inteligencia artificial ya es capaz de generar textos comprensibles y responder preguntas
correctamente, en realidad, sigue sin tener una verdadera comprensión del lenguaje natural

por Karen Hao | traducido por Ana Milutinovic 06 Febrero, 2020

Hasta hace muy poco, los ordenadores no eran capaces de crear ninguna frase que tuviera un mínimo
sentido. Pero en los últimos años, el campo del procesamiento de lenguaje natural (PLN) ha avanzado
hasta tal punto que ahora las máquinas pueden generar pasajes convincentes con solo presionar un
botón (https://www.technologyreview.es/s/11750/la-nueva-ia-de-baidu-entiende-el-lenguaje-mejor-
que-todas-las-demas).

Estos avances han sido impulsados por el aprendizaje profundo, que analiza los patrones estadísticos del
uso de palabras y la estructura de frases a partir de enormes bases de datos de texto. Pero un nuevo
artículo (https://arxiv.org/pdf/1907.10641.pdf ) del Instituto Allen de Inteligencia Artificial (IA) destaca
un tema pendiente: las máquinas no entienden realmente lo que escriben ni lo que leen.

Se trata de un desafío fundamental en la gran búsqueda de la inteligencia artificial general, pero

también es un tema relevante para los consumidores. Los chatbots y los asistentes de voz basados en
modelos de lenguaje natural de última generación, por ejemplo, se han convertido en la interfaz
principal de muchas instituciones financieras (https://www2.deloitte.com/nl/nl/pages/financial-
services/articles/the-rise-of-chatbots-in-financial-services.html), proveedores de atención médica
(https://www.modernhealthcare.com/article/20181208/TRANSFORMATION01/181209977/healthcare-
providers-are-teaming-with-chatbots-to-assist-patients) y agencias gubernamentales
(https://chatbotsmagazine.com/how-chatbots-are-beneficial-to-government-agencies-6e21052e3ba4).
Pero sin una verdadera comprensión del lenguaje, estos sistemas son más propensos a equivocarse, lo
que ralentiza el acceso a estos servicios tan importantes.

Para llegar a esta conclusión, los investigadores utilizaron el trabajo del Winograd Schema Challenge
(http://commonsensereasoning.org/winograd.html), una competición lanzada en 2011 para evaluar el
razonamiento de sentido común de los sistemas de PLN. El desafío utiliza un conjunto de 273 preguntas
Usamos cookies en este sitio para mejorar la experiencia de usuario.
De acuerdo Más info
Al hacer clic en cualquier enlace de esta página nos da su consentimiento
para utilizar cookies.

https://www.technologyreview.es/s/11843/aunque-lo-parezca-la-ia-sigue-sin-entender-nada-de-lo-que-lee-y-dice 2/6
6/2/2020 Aunque lo parezca, la IA sigue sin entender nada de lo que lee y dice | MIT Technology Review en español

que incluyen pares que solo se diferencian en una palabra. Esa palabra, conocida como desencadenante,
cambia el significado de cada frase, como refleja el siguiente ejemplo:

El trofeo no cabe en la maleta marrón porque es demasiado grande.

El trofeo no cabe en la maleta marrón porque es demasiado pequeña.

Para tener éxito, un sistema de PLN debe determinar a qué elemento está haciendo referencia el
adjetivo. Para responder correctamente a este ejemplo en cuestión, el algoritmo debería seleccionar
"trofeo" para el primer ejemplo y "maleta" para el segundo

Al principio, la prueba se diseñó bajo la idea de que dichos problemas no podrían responderse sin una
comprensión semántica más profunda. Los modelos más avanzados de aprendizaje profundo
actualmente pueden lograr una precisión cercana al 90 %, por lo que parece que el sistema de PLN se ha
acercado a su objetivo. Pero los investigadores del Instituto Allen, cuyo trabajo recibirá el Premio de
Estudio Excepcional en la próxima conferencia AAAI, cuestionan la efectividad del criterio y, por lo
tanto, el nivel de progreso que el campo realmente ha logrado.

Los investigadores primero crearon un conjunto de datos mucho mayor, denominado WinoGrande, con
44.000 de preguntas del mismo tipo. Lo hicieron con un esquema de trabajo colaborativo a través del
servicio Mechanical Turk de Amazon para crear y validar rápidamente nuevos pares de frases. (Parte de
la razón por la cual el conjunto de datos de Winograd resulta tan pequeño es que fue creado a mano).
Los trabajadores crearon las frases con las palabras requeridas seleccionadas aleatoriamente. Cada par
de frases se enviaba a otros tres trabajadores y solo se mantenía si cumplía con tres criterios: al menos
dos trabajadores respondieron correctamente, los tres consideraron que las opciones no eran ambiguas y
las referencias del adjetivo no se podían deducir mediante simples asociaciones de palabras.

Luego analizaron el conjunto de datos a través de un algoritmo para eliminar el mayor número posible
de "artefactos": patrones de datos no intencionales o correlaciones que podrían ayudar a un modelo de
lenguaje a responder correctamente por motivos equivocados. Esto redujo la posibilidad de que un
modelo pudiera aprender a usar ese conjunto de datos.

Cuando sometieron los modelos de última generación a estas nuevas preguntas, su rendimiento
disminuyó a entre el 59,4 % y el 79,1 %. Por su parte, la eficacia de los trabajadores humanos fue del 94
%. Esto significa que es probable que la alta puntuación obtenida en la prueba original de Winograd
esté exagerada. "Se trata de un logro específico con un conjunto de datos concreto, no con una tarea
general", subraya la profesora asociada de la Universidad de Washington (EE. UU.) y directora general
de investigaciones enenAI2,
Usamos cookies Yejin
este sitio paraChoi,
mejorar quien dirigió
la experiencia esta investigación.
de usuario.
De acuerdo Más info
Al hacer clic en cualquier enlace de esta página nos da su consentimiento
para utilizar cookies.

https://www.technologyreview.es/s/11843/aunque-lo-parezca-la-ia-sigue-sin-entender-nada-de-lo-que-lee-y-dice 3/6
6/2/2020 Aunque lo parezca, la IA sigue sin entender nada de lo que lee y dice | MIT Technology Review en español

Choi espera que su conjunto de datos se convierta en el nuevo punto de referencia. Pero también espera
que inspire a otros investigadores a mirar más allá del aprendizaje profundo. Los resultados muestran
que los sistemas de PLN con un verdadero sentido común deberían incorporar otras técnicas, como los
modelos de conocimiento estructurado. Su trabajo anterior (https://mosaickg.apps.allenai.org/) ya
demostró una importante promesa en esta dirección. La responsable afirma: "Tenemos que encontrar
un plan de juego diferente de alguna manera ".

También es cierto que el trabajo ha recibido algunas críticas. El investigador Ernest Davis, que trabajó
en el desafío original de Winograd, opina que muchos de los pares de frases de ejemplo enumerados en
el documento son "seriamente defectuosos", con una gramática confusa. Y añade: "No se corresponden
con la forma en la que las personas que hablan inglés realmente usan los adjetivos.

Pero Choi señala que un modelo verdaderamente sólido no debería necesitar una gramática perfecta
para comprender una frase. Las personas que hablan inglés como segundo idioma pueden confundirse
con la gramática pero siempre son capaces de expresar lo que quieren decir.

Choi concluye: "La gente puede entender fácilmente nuestras preguntas y elegir la respuesta correcta
[refiriéndose a la precisión humana del 94 % de rendimiento]. Si los seres humanos son capaces de
hacerlo, en mi opinión, las máquinas también deberían poder hacerlo".

Su nombre

Comment *

GUARDAR

Usamos cookies en este sitio para mejorar la experiencia de usuario.

De acuerdo Más info
Al hacer clic en cualquier enlace de esta página nos da su consentimiento
para utilizar cookies.

https://www.technologyreview.es/s/11843/aunque-lo-parezca-la-ia-sigue-sin-entender-nada-de-lo-que-lee-y-dice 4/6
6/2/2020 Aunque lo parezca, la IA sigue sin entender nada de lo que lee y dice | MIT Technology Review en español

Inteligencia Artificial
 

La inteligencia artificial y los robots están transofrmando nuestra forma de trabajar y nuestro estilo de vida.

01 Caja negra vs. de cristal: la IA que

funciona contra la que se explica
(/s/11839/caja-negra-vs-de-cristal-la-
ia-que-funciona-contra-la-que-se-
explica)
Las versiones simplificadas tipo 'glassbox' funcionan
peor y sus explicaciones provocan un sesgo de
automatización que nos hace confiar en ellas aunque
estén claramente equivocadas. Pero si queremos (/s/11839/caja-negra-vs-de-cristal-la-ia-
ampliar los usos de las redes neuronales complejas, que-funciona-contra-la-que-se-explica)
necesitamos entender porqué hacen lo que hacen

Por Douglas Heaven

02 Los robots capaces de sustituir a los

empleados de almacén ya están aquí
(/s/11837/los-robots-capaces-de-
sustituir-los-empleados-de-almacen-
ya-estan-aqui)
Tras meses de silencioso trabajo, Covariant acaba de
presentar al público unos brazos robóticos inteligentes
capaces de manipular prácticamente cualquier objeto
con una precisión y velocidad impresionantes. Su (/s/11837/los-robots-capaces-de-
objetivo final es que cada almacén disponga de 10 sustituir-los-empleados-de-almacen-ya-
robots por cada trabajador humano estan-aqui)

Por Karen Hao

03 La nueva IA de Baidu entiende el

lenguaje mejor que todas las demás
(/s/11750/la-nueva-ia-de-baidu-
entiende-el-lenguaje-mejor-que-todas-
las-demas)
Su modelo ERNIE ha derrotado a Google y a Microsoft
en una reciente competición sobre lenguaje natural
gracias a una técnica llamada enmascaramiento y al
hecho de que los investigadores se vieran obligados a (/s/11750/la-nueva-ia-de-baidu-
Usamos cookies en este sitio para mejorar la experiencia de usuario.
adaptarla al chino. Es un ejemplo de cómo la entiende-el-lenguaje-mejor-que-todas-
De acuerdo Más info
Al hacer clic en cualquier enlace de esta página nos da su consentimiento
inteligencia artificial se beneficia de la diversidad las-demas)
para utilizar cookies.
Por Karen Hao
https://www.technologyreview.es/s/11843/aunque-lo-parezca-la-ia-sigue-sin-entender-nada-de-lo-que-lee-y-dice 5/6
6/2/2020 Aunque lo parezca, la IA sigue sin entender nada de lo que lee y dice | MIT Technology Review en español
Por Karen Hao

Más información sobre Inteligencia Artificial (/c/Inteligencia Artificial)

Síguenos

(https://twitter.com/techreview_es)
(https://www.facebook.com/technologyreview.es)
(https://www.technologyreview.es/feed.xml)

Compañía

Quiénes somos (/quienes-somos)

Contáctenos (/contactenos)

Legal

Política de Privacidad (/politica-de-privacidad)

Términos y Condiciones (/terminos-y-condiciones)

Copyright © MIT Technology Review, 2017-2020.

Usamos cookies en este sitio para mejorar la experiencia de usuario.

De acuerdo Más info
Al hacer clic en cualquier enlace de esta página nos da su consentimiento
para utilizar cookies.

https://www.technologyreview.es/s/11843/aunque-lo-parezca-la-ia-sigue-sin-entender-nada-de-lo-que-lee-y-dice 6/6