Documentos de Académico
Documentos de Profesional
Documentos de Cultura
DICTAMEN
1.1 El CESE felicita a la Comisión por su estrategia, recogida en el Libro Blanco sobre la
inteligencia artificial, de promover la adopción de las tecnologías de inteligencia artificial (IA),
al tiempo que garantiza su conformidad con las normas éticas, los requisitos legales y los
valores sociales europeos.
1.2 El CESE también acoge con satisfacción el objetivo de capitalizar las virtudes europeas en los
mercados industriales y profesionales y subraya la importancia de potenciar la inversión, la
infraestructura, la innovación y las capacidades para que las empresas, incluidas las pymes, y
la sociedad en su conjunto puedan aprovechar las oportunidades de la IA. Debe fomentarse la
innovación en materia de IA para maximizar los beneficios de los sistemas de IA, al tiempo que
se evitan y minimizan sus riesgos.
1.5 El CESE insta a la Comisión a que considere más detenidamente el impacto de la IA en todo el
abanico de derechos y libertades fundamentales, incluido, entre otros, el derecho a un juicio
justo, a elecciones justas y abiertas, y de reunión y manifestación, además del derecho a no ser
discriminado.
1.7 El CESE solicita un enfoque sociotécnico continuo y sistemático, que analice la tecnología
desde todas las perspectivas y a través de varias ópticas, en lugar de una sola evaluación previa
de la conformidad (o incluso que se repita regularmente) de la IA de riesgo elevado.
1.8 El CESE advierte de que el requisito del sector del «alto riesgo» podría excluir numerosos usos
y aplicaciones de IA que por naturaleza son de alto riesgo, además del reconocimiento
1.9 Asimismo sugiere encarecidamente que cualquier uso del reconocimiento biométrico se permita
solo: i) si existe un efecto científicamente probado, ii) en entornos controlados, y iii) en
condiciones estrictas. Debe prohibirse el uso generalizado del reconocimiento biométrico
basado en IA en la vigilancia o para dar seguimiento, evaluar o clasificar a los seres
humanos o el comportamiento o las emociones humanos.
1.11 El CESE también defiende la implicación temprana y estrecha de los empleados que en última
instancia trabajen con un sistema de IA, así como de aquellos con conocimientos especializados
en los ámbitos jurídico, ético y de las humanidades, a la hora de introducir sistemas de IA, con
el fin de garantizar que los sistemas se ajusten a los requisitos legales y éticos, así como a las
necesidades de los trabajadores, para que estos mantengan la autonomía con respecto a su
trabajo y los sistemas de inteligencia artificial mejoren las capacidades de los trabajadores y su
satisfacción laboral.
1.13 El CESE insta a la Comisión a que asuma un papel de liderazgo con el fin de garantizar una
mejor coordinación en Europa de las soluciones y enfoques aplicados en materia de IA
utilizados para combatir la pandemia de coronavirus.
2.1 Al CESE le complace observar que la Comisión Europea ha adoptado muchas de las
recomendaciones de dictámenes previos del CESE y el grupo de expertos de alto nivel sobre la
IA, que promueve la asimilación de las tecnologías de IA, al tiempo que garantiza su
conformidad con las normas éticas europeas, los requisitos legales y los valores sociales,
sustentados por lo que denomina un «ecosistema de excelencia y de confianza».
2.2 El CESE acoge favorablemente las propuestas dirigidas a las empresas, incluidas las pymes, y a
la sociedad en su conjunto, aprovechando las oportunidades de desarrollo y uso de la IA. El
CESE subraya la importancia de potenciar la inversión, la infraestructura, la innovación y las
capacidades para reforzar el éxito competitivo de la UE a escala mundial.
2.3 No obstante, el Libro Blanco también muestra un tono ligeramente «fatalista», al sugerir que la
IA nos supera, no cual no nos deja más opción que regularla. El CESE cree firmemente en el
compromiso de la UE de garantizar que Europa solo acepte la IA que sea fiable, por lo que
debería atreverse a adoptar una postura mucho más enérgica en este sentido. En consecuencia, el
CESE insta a la Comisión a mantener siempre abierta la opción de no aceptar en absoluto un
determinado tipo de (uso de la) IA. Esto es lo que el CESE ha venido denominando como el
enfoque de los «humanos al mando» respecto a la IA que debemos cultivar.
2.6 El Libro Blanco se centra únicamente en sesgos con relación a los datos, pero no todos los
sesgos son consecuencia de unos datos de mala calidad o limitados. El diseño de cualquier
producto es por naturaleza un cúmulo de elecciones sesgadas, que van desde las
aportaciones tenidas en cuenta hasta los objetivos establecidos para su optimización. Todas
estas elecciones están condicionadas de un modo u otro por los sesgos propios de la(s)
persona(s) que la(s) hacen.
2.7 No obstante, cabe destacar que los sistemas de IA son más que una simple suma de sus
componentes de software. Los sistemas de IA también comprenden el sistema sociotécnico
que los rodea. Por tanto, a la hora de considerar la gobernanza y la regulación de la IA, la
atención debe centrarse también en las estructuras sociales ambientales que la rodean: las
organizaciones, las empresas, las diversas profesiones y las personas e instituciones que crean,
desarrollan, despliegan, emplean y controlan la IA, así como las personas que se ven afectadas
por ella, como los ciudadanos en sus relaciones con los gobiernos, las empresas, los
consumidores, los trabajadores e incluso la sociedad en su conjunto.
La IA y el Derecho
2.10 El Libro Blanco reconoce el hecho de que la IA no opera en un mundo sin ley. El CESE
reconoce en especial la atención prestada a las implicaciones que tiene la IA en los derechos
fundamentales, y recomienda que la Comisión considere más detenidamente las repercusiones
de esta en numerosos derechos y libertades fundamentales, como la libertad de palabra y
expresión, y el derecho al respeto de la vida privada (que va mucho más allá de proteger los
datos de las personas), a un juicio justo, a elecciones justas y abiertas, de reunión y
manifestación, y a no ser discriminados.
2.11 El CESE celebra la postura clara adoptada en el Libro Blanco sobre la capacidad de aplicación
de los regímenes de responsabilidad existentes a la IA, así como el esfuerzo por basarse en
dichos regímenes para hacer frente a los nuevos riesgos que esta puede plantear, al abordar las
lagunas en la aplicación en aquellos casos en que resulta difícil identificar el verdadero operador
económico responsable y hacer que los regímenes se adapten a la funcionalidad cambiante de
los sistemas de IA.
2.12 La Comisión también debe reconocer que la AI no conoce fronteras y que los esfuerzos no
pueden ni deben limitarse a Europa. Debería alcanzarse un consenso general a nivel mundial
sobre la base de los debates y las investigaciones realizadas por expertos juristas, en un esfuerzo
por establecer un marco jurídico internacional común.
2.14 El CESE acoge con satisfacción la adopción de un enfoque basado en el riesgo respecto al
control de los efectos de la IA. La Comisión anuncia un marco regulador para la «IA de riesgo
elevado», que debería tener que cumplir determinados requisitos relativos a su solidez,
exactitud, capacidad de reproducción, transparencia, supervisión humana y gestión de datos.
Según el Libro Blanco, la IA de riesgo elevado se compone de la suma de dos elementos: i) un
sector de riesgo elevado, y ii) un uso de riesgo elevado de una aplicación de IA. El Libro Blanco
añade dos ejemplos de aplicaciones o usos que por su naturaleza se consideran de riesgo
elevado, es decir, con independencia de su sector. También califica el reconocimiento
biométrico como una aplicación de alto riesgo intrínseco. La lista exhaustiva de sectores de
riesgo elevado (que se revisará periódicamente) incluye en la actualidad los siguientes sectores
de alto riesgo potencial: la sanidad, el transporte, la energía y determinados ámbitos del sector
público.
2.15 El segundo criterio —que la aplicación de IA se use de manera que puedan surgir riesgos— es
menos riguroso, lo que sugiere la posibilidad de considerar distintos niveles de riesgo. El CESE
propone añadir en este punto la sociedad y el medio ambiente como ámbitos de impacto.
2.16 Siguiendo la lógica del Libro Blanco, una aplicación de IA de riesgo elevado empleada en un
sector de bajo riesgo no estaría sujeta en principio al marco regulador. El CESE hace énfasis en
que los efectos adversos no deseados de la IA de riesgo elevado en un sector de bajo riesgo
podrían dejar las aplicaciones de IA o sus usos fuera de la regulación, y establecer un margen
para eludir las reglas: pensemos en la publicidad dirigida (un sector de bajo riesgo), que ha
demostrado tener efectos potenciales de segregación, discriminación y división, por ejemplo
durante las elecciones o en el caso de la fijación de precios personalizada (un uso o efecto de
riesgo elevado). El CESE recomienda formular las características comunes de las
aplicaciones o usos de la IA que «de por sí» se consideran de riesgo elevado,
independientemente del sector en el que se empleen.
2.17 Aunque el CESE reconoce la necesidad de los ensayos de conformidad de la IA, teme que no
sea suficiente una única evaluación previa de la conformidad para garantizar el desarrollo, la
adopción y el uso de la IA fiable y antropocéntrica de forma sostenible. La IA fiable requiere
un enfoque continuo, sistemático y sociotécnico, que analice la tecnología desde todas las
perspectivas y a través de varias ópticas. Para la elaboración de políticas, esto requiere un
planteamiento pluridisciplinar en el que responsables políticos, académicos de distintos campos,
interlocutores sociales, profesionales y sus organizaciones, empresas y ONG trabajen juntos de
forma continua. Especialmente cuando se trata de servicios de interés público relacionados con
la salud, la seguridad y el bienestar de las personas y basados en la confianza, debe garantizarse
que los sistemas de IA se adapten a los requisitos prácticos y no puedan prevalecer sobre la
responsabilidad humana.
2.18 El CESE acoge favorablemente la invitación de la Comisión a iniciar un debate público sobre el
uso del reconocimiento biométrico basado en IA. El reconocimiento biométrico de
microexpresiones, la forma de andar, el (tono de) voz, el ritmo cardíaco, la temperatura, etc., ya
se utiliza para evaluar o incluso predecir nuestro comportamiento, estado mental y emociones,
también en los procesos de contratación. Resulta fundamental aclarar que no existen evidencias
científicas sólidas que indiquen que es posible «leer» con exactitud las emociones internas
o el estado mental de una persona a partir de su expresión facial, su forma de andar, su
ritmo cardíaco, su tono de voz o su temperatura, y mucho menos predecir el
comportamiento futuro.
2.19 También debe observarse que el RGPD únicamente limita el tratamiento de datos
biométricos en cierta medida. Este define datos biométricos como «datos personales obtenidos
a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o
conductuales de una persona física que permitan o confirmen la identificación única de dicha
persona». No obstante, muchas tecnologías de reconocimiento no han sido diseñadas para
identificar a una persona de forma única, sino solamente para evaluar su comportamiento o sus
emociones. Puede que estos usos no se engloben en la definición de (tratamiento de) datos
biométricos con arreglo al RGPD.
2.20 El reconocimiento biométrico basado en IA también afecta a nuestro derecho más amplio al
respeto de la vida privada, la identidad, la autonomía y la integridad psicológica al crear una
situación en la que somos (constantemente) observados, seguidos e identificados. Esto podría
tener un efecto psicológico «paralizante» en aquellos casos en que las personas puedan
sentirse dispuestas a adaptar su comportamiento a determinada norma. Se trata de una
invasión de nuestro derecho fundamental a la privacidad (integridad psicológica y moral).
Además, el reconocimiento biométrico basado en IA podría afectar a nuestros derechos y
libertades fundamentales, como la libertad de reunión y el derecho a no ser discriminados.
2.21 Asimismo, el CESE recomienda que cualquier uso del reconocimiento biométrico se permita
solo si existe un efecto científicamente probado, en entornos controlados y en condiciones
estrictas. Debe prohibirse el uso generalizado del reconocimiento biométrico basado en IA para
vigilar, dar seguimiento, evaluar o clasificar a los seres humanos, o el comportamiento o las
emociones humanos.
2.22 El CESE observa que el Libro Blanco no recoge una estrategia sobre cómo abordar el impacto
de la IA en el trabajo, aunque formó parte explícita de la Estrategia Europea en materia de
inteligencia artificial.
2.23 El CESE defiende la implicación temprana y cercana de los trabajadores y los proveedores
de servicios de todo tipo, incluidos los autónomos, los trabajadores por cuenta propia y los
trabajadores de espectáculos —no solo personas que diseñan o desarrollan IA, sino también
que adquieren sistemas de IA, los implementan, trabajan con ellos o se ven afectados por
2.25 Las personas necesitan adquirir o actualizar las capacidades de IA para poder adaptarse a la
rápida evolución en este campo. Pero será necesario que la política y los recursos financieros se
destinen también al aprendizaje y desarrollo de capacidades en áreas donde los sistemas de
IA no supongan una amenaza (como las que requieren fundamentalmente interacción humana,
como los servicios de interés público relacionados con la salud, la seguridad y el bienestar de las
personas y basados en la confianza, o colaboración entre humanos y máquinas, o las que
queremos que sigan en manos de los humanos).
3. IA y coronavirus
3.1 La IA puede contribuir a comprender mejor el coronavirus y la COVID-19, así como a proteger
a la población de la exposición, ayudar a encontrar una vacuna y explorar opciones de
tratamiento. Sin embargo, sigue siendo importante ser abiertos y claros sobre qué puede y qué
no puede hacer la IA.
3.2 Solidez y efectividad: la IA basada en datos para prevenir la propagación del coronavirus puede
resultar problemática, ya que existen muy pocos datos sobre este virus que permitan que genere
resultados fiables. Además, los escasos datos disponibles son incompletos y están sesgados. El
uso de estos datos para planteamientos basados en el aprendizaje automático podría generar
numerosos falsos negativos y falsos positivos.
3.3 Son primordiales la transparencia respecto a los datos y los modelos empleados y también la
capacidad de explicar los resultados. En este momento concreto el mundo no puede permitirse
adoptar decisiones basadas en «cajas negras».
3.4 En el uso de la IA para la lucha contra esta pandemia, cobra más importancia que nunca el
respeto de los derechos humanos, los principios éticos y la legislación existente. En
concreto, cuando las herramientas de IA tienen el potencial de infringir los derechos humanos,
debe existir un interés legítimo para su uso, que debe ser estrictamente necesario, proporcionado
y, sobre todo, limitado en el tiempo.
3.6 Según los virólogos y epidemiólogos, abrir la sociedad y la economía tras el confinamiento
requiere un seguimiento, rastreo, control y protección eficientes de la salud de las personas.
Actualmente se desarrollan numerosas aplicaciones para el seguimiento, el rastreo y la
realización de controles de salud, actividades de las que habitualmente (e históricamente) se han
ocupado profesionales. Muchos gobiernos de todas partes del mundo han depositado una
enorme confianza en las aplicaciones de seguimiento y rastreo como medios para reabrir las
sociedades.
3.7 La implantación de este tipo de aplicaciones constituye una medida muy radical. Por lo tanto, es
fundamental examinar desde una perspectiva crítica la utilidad, la necesidad y la efectividad
de estas aplicaciones, así como su impacto social y jurídico, antes de que se tome la decisión de
utilizarlas. Debe seguir existiendo la opción de no utilizar las aplicaciones y debe otorgarse
prioridad a soluciones menos invasivas.
3.8 La eficacia y fiabilidad de las aplicaciones de seguimiento y rastreo es muy importante, ya que
la ineficacia y la falta de fiabilidad puede generar muchos falsos positivos y falsos negativos, a
una engañosa sensación de seguridad y, por consiguiente, a un mayor riesgo de contaminación.
Las simulaciones científicas iniciales plantean serias dudas al respecto de si una aplicación de
seguimiento tendrá algún efecto positivo sobre la propagación del virus, incluso con un uso del
80 % o el 90 %. Además, una aplicación no puede registrar circunstancias específicas, como la
presencia de plexiglás y de ventanas, o el uso de equipos de protección individual.
3.9 Además, estas aplicaciones hacen que se anulen (parcialmente) varios derechos humanos y
libertades, ya que afectan a nuestra libertad de asociación, y a nuestros derechos a la seguridad,
a no ser discriminados y a la privacidad.
3.10 Aunque nuestros datos personales y nuestro anonimato son muy importantes, la privacidad va
mucho más allá. La privacidad también trata sobre el derecho a no ser seguidos, rastreados y
sometidos a vigilancia. Se ha demostrado científicamente que cuando las personas saben que
están siendo seguidas comienzan a comportarse de forma diferente. Según el Tribunal Europeo
de Derechos Humanos este efecto «paralizante» constituye una invasión de nuestra privacidad.
El mismo concepto general de privacidad debería incluirse en el debate sobre IA.
3.11 Existe el riesgo de que los datos recopilados (en la actualidad o en el futuro) no solo se empleen
para combatir la actual pandemia, sino también para elaborar perfiles, categorizar y puntuar a
las personas para distintos fines. En un futuro más lejano incluso es posible imaginar que la
«desviación de funciones» pueda conducir a tipos indeseados de elaboración de perfiles para la
supervisión y la vigilancia, la aceptación para contratar seguros o recibir prestaciones sociales,
3.12 Además, nos guste o no, toda solución de IA implantada en estas circunstancias
extraordinarias e incluso con la mejor de las intenciones, sentará un precedente. Pese a todas
las buenas intenciones, las crisis anteriores nos han demostrado que este tipo de medidas no se
abandonará nunca en la práctica.
3.13 Por consiguiente, el uso de la IA durante la pandemia debería medirse y ponderarse en todo
momento teniendo presentes varias consideraciones, a saber: i) ¿es eficaz y fiable? ii) ¿existen
soluciones menos invasivas? iii) ¿superan los beneficios a las inquietudes sociales, éticas y
relativas a los derechos fundamentales?, y iv) ¿puede lograrse un equilibrio responsable entre
los derechos y libertades fundamentales en conflicto? Además, este tipo de sistemas no deben
ser implantados bajo ningún tipo de obligación ni coacción.
3.14 El CESE insta a los responsables políticos a que no sucumban al tecnosolucionismo con
demasiada facilidad. Dada la gravedad de la situación, recomendamos que las aplicaciones
relacionadas con proyectos diseñados para contribuir a controlar la pandemia se basen en una
investigación sólida en materia de epidemiología, sociología, psicología, derecho, ética y
ciencias de los sistemas. Antes de decidirse a emplear estos sistemas es necesario realizar un
análisis de su eficacia, necesidad y sensibilidad, así como simulaciones.
Luca JAHIER
Presidente del Comité Económico y Social Europeo
_____________