SEGURIDAD EN INTELIGENCIA ARTIFICIAL – Exposición

GABRIELA

Lo que la literatura o el cine plantearon como una posibilidad durante décadas,

se ha transformado, hoy en día, en una realidad tangible. La Inteligencia
Artificial ya forma parte de nuestras vidas y se ha convertido en una de las
grandes cuestiones de esta era, al calor del Machine Learning o la IA
generativa. Tal es así que la Inteligencia Artificial está llamada a cambiar
nuestro tejido productivo y la forma en la que vivimos. Pero, ¿solo tiene
ventajas? ¿Cuáles son los riesgos de seguridad de la IA?

En los últimos años y, en especial, en 2023, diversas organizaciones han

incrementado su producción de metodologías y guías para poner el foco sobre
los riesgos de seguridad de la IA y ayudar a las compañías a prevenirlos con
éxito.

Así, la European Union Agency for Cybersecurity (ENISA) ha publicado

diversos frameworks, metodologías e informes que abordan los riesgos de
seguridad de la IA y los desafíos a los que deben hacer frente las empresas.

El estadounidense National Institute of Standards and Technology

(NIST) ha creado un marco para gestionar los riesgos de seguridad de la
IA. Y la fundación OWASP, referente metodológico a nivel global, ha puesto en
marcha un proyecto para abordar los riesgos de seguridad de la IA.

Ya en el plano regulatorio, la Unión Europea está dando los últimos pasos en

la tramitación y aprobación de la Artificial Intelligence Act . El borrador del
reglamento, que ahora deben negociar el Parlamento Europeo y el Consejo,
hace especial hincapié en la relación entre ciberseguridad e IA.

A continuación, vamos a desgranar los principales riesgos de seguridad de

la IA que las compañías que desarrollan Inteligencia Artificial y las empresas
que emplean esta tecnología disruptiva deben tener en cuenta para detectar
amenazas, prevenir incidentes de seguridad y cumplir con un marco normativo
que cada vez será más exigente.

1. La IA es una de las grandes aliadas de la ciberseguridad

ChatGPT, Midjourney, DALL-E, Copy AI… 2023 quedará marcado en nuestro

recuerdo como el año en que las IA generativas, es decir, capaces de crear
contenido y atender a las peticiones de las personas, han acaparado la
atención de la opinión pública mundial.

Sin embargo, la historia de la Inteligencia Artificial se puede rastrear desde

Alan Turing y ya tiene a sus espaldas lustros de investigación y desarrollo de
 herramientas de Machine Learning, redes neuronales, Deep Learning o
procesamiento de lenguaje natural.

De hecho, la Inteligencia Artificial ya está presente en múltiples dispositivos y

tecnologías que usan las empresas y los ciudadanos en su día a día para
automatizar tareas u optimizar la toma de decisiones.

En este sentido, la Inteligencia Artificial se ha convertido en una gran

aliada de los profesionales de ciberseguridad y las compañías a la hora de
fortalecer sus capacidades defensivas y mejorar su resiliencia frente a los
ciberataques.

Sin ir más lejos, gracias a las herramientas de Machine Learning ha sido

posible automatizar la detección de amenazas o la puesta en marcha de
mecanismos de respuesta ante los ataques. Así como optimizar las
evaluaciones de seguridad y la priorización de las vulnerabilidades, predecir
patrones de ataque de los actores hostiles, extraer información de gran valor
añadido de los datos para identificar vulnerabilidades antes que los
delincuentes o mejorar los análisis forenses para subsanar los problemas
detectados.

1.1. Y la ciberseguridad de la IA

Ante la creciente relevancia de los sistemas de IA y sus potencialidades para

las empresas y los ciudadanos, los riesgos de seguridad de la IA se han
convertido en una cuestión capital en lo relativo a la ciberseguridad.

Así como la Inteligencia Artificial es clave para diseñar y ejecutar los servicios
de ciberseguridad, estos son cruciales a la hora de acometer la protección de
los sistemas y aplicaciones de IA, en un momento en el que:

 Los ciberdelincuentes comienzan a situar a la IA en sus dianas.

 Los riesgos vinculados a la cadena de suministro son cada vez más elevados.

2. Datos, modelos, ciberataques… Los riesgos de seguridad de la IA

Si hay un elemento fundamental en lo que respecta a las IA, sobre todo a los
sistemas de Machine Learning y Deep Learning son los datos. Puesto que
estos sistemas funcionan gracias a modelos que deben entrenarse con datos.
Si los datos son numerosos, variados, no presentan sesgos y no han sido
manipulados, el modelo podrá funcionar de forma óptima y presentar un alto
rendimiento. Por el contrario, si los datos empleados para entrenar a los
modelos han sido corrompidos, este presentará un comportamiento
manipulado que puede tener consecuencias graves para las compañías y los
usuarios.
 Partiendo de esta base, debemos señalar que, a la hora de abordar los
riesgos de seguridad de la IA, hay que diferenciar entre:

 Las amenazas dirigidas a los sistemas de IA. Es decir, los ataques en los que
los propios sistemas de IA son el target: los modelos, los datos…
 El uso malicioso de herramientas de IA para poner en marcha ciberataques
contra software y sistemas empresariales o contra particulares.

2.1. Riesgos que se ciernen sobre los sistemas de IA

El proyecto puesto en marcha por OWASP para evaluar los principales riesgos
de seguridad y privacidad a los que se enfrenta la Inteligencia Artificial señala
diversos peligros y presta especial atención a los posibles ataques contra los
modelos de IA.

2.1.1. Riesgos de seguridad de datos

El pipeline de la Inteligencia Artificial debe ser considerado como una nueva

superficie de ataque, puesto que se encuentra más allá del ámbito tradicional
del desarrollo de software. ¿Por qué? Incorpora la ciencia de datos.

Tanto la ingeniería de datos como la ingeniería de modelos son absolutamente

esenciales para el desarrollo de sistemas de IA. Y ambas disciplinas
requieren de controles de seguridad lo suficientemente robustos como
para evitar fugas o envenenamiento de datos, robo de propiedad intelectual o
ataques de cadena de suministro.

Por otro lado, hay que tener en cuenta el riesgo vinculado al uso de datos
durante el desarrollo de una IA. Para entrenar y testear un modelo, los
científicos de datos necesitan trabajar con datos reales, que podrían llegar a
ser sensibles. De ahí que se deba establecer un mecanismo de control de
acceso riguroso, en el que los científicos solo puedan acceder a la información
que necesitan para realizar su trabajo.

2.1.2. Ataques contra modelos de IA

Como señalamos antes, los ataques contra el modelo de una IA son uno de los
elementos clave a la hora de abordar la ciberseguridad de la Inteligencia
Artificial. Estos ataques de alto riesgo se pueden prevenir:

 Protegiendo el proceso de desarrollo de la IA.

 Ocultando los parámetros del modelo.
 Limitando el acceso a este.
 Implementando un sistema de monitorización para detectar inputs maliciosos.
 Teniendo en cuenta esta clase de ataques durante la fase de entrenamiento
del modelo.
 De tal forma que es necesario conjugar conocimientos en ciberseguridad con
formación en Machine Learning. Asimismo, también se pueden poner en
marcha medidas clásicas de la ciberseguridad, como aplicar el principio de
mínimo privilegio.

2.1.2.1. Tipologías de ataque

ZULEIMA

OWASP recopila los siguientes tipos de ataque contra modelos de IA:

 Envenenamiento de los datos. Si se cambian los datos de entrenamiento, el

comportamiento del modelo puede ser manipulado. Lo que permite sabotear el
sistema de IA o conseguir que tome las decisiones que el atacante desea.
 Manipulación de los inputs. Este ataque busca manipular a los modelos con
datos de entrada engañosos. La inyección de prompts es el ejemplo
paradigmático de este tipo de ataque.
 Inferencia de pertenencia. A través de un registro de datos y un acceso de
caja negra al modelo se puede determinar si un registro estaba en el grupo de
datos de entrenamiento. Esto implica que los actores hostiles puedan saber si
una persona padece una determinada enfermedad, forma parte de un partido
político o está inscrita en una organización concreta.
 Inversión del modelo o reconstrucción de los datos. Mediante la
interacción con un modelo se estiman sus datos de entrenamiento. Si dichos
datos son sensibles, se puede ver menoscabada la privacidad.
 Robo de modelos. Al interactuar con un modelo se puede llegar a determinar
su comportamiento y copiarlo para entrenar a otro modelo, lo que supone un
robo de propiedad intelectual.
 Ataque de cadena de suministro del modelo. Mediante estos ataques se
puede manipular el ciclo de vida de un modelo, por ejemplo, contaminando un
modelo base que se ha hecho público y logrando corromper a los modelos de
Deep Learning que utilicen el aprendizaje por transferencia para afinar ese
modelo.

2.1.3. Mantenibilidad del código de IA

Los científicos de datos están centrados en producir modelos de trabajo y no

tanto en crear código que sea fácil de leer por otros profesionales. Todo ello
dificulta los análisis de código de IA y la detección de fallos o la gestión de
vulnerabilidades . De ahí que sea fundamental combinar los conocimientos de
los científicos de datos con la formación y experiencia de los ingenieros de
software y los expertos en ciberseguridad.

2.1.4. Complejidad de la cadena de suministro de la IA

La Inteligencia Artificial hace más compleja la cadena de suministro de
software. En primer lugar, porque los sistemas de IA suelen tener varias
cadenas de suministro (de datos, de modelos…) y las fuentes de procedencia
pueden ser paralelas o secuenciales. Si a esto le unimos la relevancia de los
ataques contra los modelos y el hecho de que el comportamiento de estos no
se puede evaluar mediante análisis estáticos, nos encontramos ante un riesgo
de gran relevancia.

Por ello, la tradicional lista de materiales de software (SBOM), debe

complementarse con la lista de materiales de IA (AIBOM), a la vez que se
toman las medidas necesarias para auditar la seguridad de los proveedores.
La gestión de la cadena de suministro de IA se convierte así en un aspecto
esencial para su seguridad.

2.1.5. Reutilización de código externo de Inteligencia Artificial

Al igual que sucede en el desarrollo de software tradicional, los científicos de

datos pueden beneficiarse de código abierto, si bien este puede contener
debilidades y vulnerabilidades que afecten a la seguridad y la privacidad. Por
ello, es fundamental que se lleve a cabo un control exhaustivo del código
reutilizado.

2.2. Ciberataques con IA y optimización de las capacidades de los

delincuentes

Además de todos los ataques dirigidos contra los sistemas de IA, esta
tecnología disruptiva puede ser empleada por los delincuentes para optimizar
sus capacidades de ataque. Es decir, los riesgos de seguridad de la IA no
solo incluyen las amenazas contra los sistemas. También incorporan la
utilización de las Inteligencias Artificiales como herramientas al servicio de los
ciberdelincuentes.

En su informe sobre Inteligencia Artificial y ciberseguridad, ENISA pone como

ejemplo de ciberataques sofisticados el uso de IA generativa maliciosa para
generar deep fakes, manipulando información, voces, imágenes, videos e,
incluso, caras.

Pero también tenemos que tener en cuenta ataques que requieren menos
recursos y conocimientos. Por ejemplo, usar las IA generativas para crear
textos persuasivos con los que atacar a personas, empresas e instituciones a
través de técnicas de Ingeniería Social: phishing, smishing, spear-phishing…
O recurrir a las IA para decidir qué vulnerabilidades son más fácilmente
explotables para atacar a los sistemas corporativos de una organización.

Asimismo, los sistemas de IA pueden ser empleados para optimizar la

eficiencia y eficacia del malware empleado por grupos de ciberdelincuentes en
 diversos aspectos clave: evasión de los mecanismos de detección, adaptación
a entornos cambiantes, propagación, persistencia en los sistemas atacados…

Es más, el malware basado en IA puede emplear técnicas de aprendizaje y

mejorar su eficacia por sí mismos, ejecutando ataques más exitosos.

Así como los sistemas de IA están en plena expansión, los ciberataques

desarrollados a partir de las potencialidades de esta tecnología también están
evolucionando a marchas forzadas. De tal forma que, en los próximos años, se
volverán más sofisticados y su potencial impacto en las empresas y los
ciudadanos será mayor. Por ello, deben reforzarse las estrategias de
ciberseguridad, teniendo en cuenta este nuevo abanico de ataques.

3. Tipos de actores que buscan explotar los riesgos de seguridad de la IA

¿Cuáles son los actores que pueden intentar explotar vulnerabilidades de las
IA para cumplir sus objetivos delictivos? ENISA ha categorizado a los actores
maliciosos en siete tipologías con características y objetivos diversos:

3.1. Ciberdelincuentes

 Cibercriminales. Los grupos de ciberdelincuentes tienen un objetivo claro:

lucrarse. Para conseguir beneficios económicos de su actividad delictiva,
pueden, o bien servirse de los sistemas de IA como herramientas para realizar
ataques, o bien atacar directamente a estos sistemas. Por ejemplo, pirateando
chatbots con IA para acceder a información sensible como los datos bancarios
de los clientes de una compañía.
 Script kiddies. Esta clase de ciberdelincuentes carece de los conocimientos
necesarios para poner en marcha ataques concierto nivel de complejidad y
diseñar su propio software malicioso, así que se sirven de herramientas de
ataque paquetizadas y scripts pre-escritos para poder atacar a sistemas
corporativos.

3.2. Actores que amenazan el sistema social y económico

 Actores gubernamentales y grupos esponsorizados por los estados.

Pensemos, por ejemplo, en grupos APT esponsorizados por países. Estos
grupos disponen de una gran cantidad de recursos y una amplia experiencia,
lo que les permite desarrollar ataques más sofisticados y complejos. Sus
objetivos pueden ir desde atacar sectores e infraestructuras críticas de un
país, hasta desestabilizar su sistema democrático alterando elecciones y
sembrando desinformación, pasando por el robo de información confidencial
de compañías y administraciones públicas.
 Terroristas. Los ciberterroristas buscan causar un daño directo en la vida de
las personas, llegando a provocar muertes, por ejemplo, a través de sabotajes
a infraestructuras cruciales o sectores tan sensibles como el de la salud. El
 terrorismo ha sido una lacra constante en lo que va de S. XXI y, ahora, ya no
solo es un problema de seguridad, sino también de ciberseguridad.

3.3. El fuego amigo y la competencia

 Trabajadores y proveedores de las compañías. Las personas con acceso a

elementos críticos de las IA como los modelos o los conjuntos de datos
pueden sabotear los sistemas de forma intencionada, por ejemplo,
envenenando los datos de entrenamiento. Pero, además, también pueden
provocar incidentes de seguridad de forma involuntaria, corrompiendo los
datos accidentalmente.
 Empresas rivales. La competencia es cada vez mayor en el sector de la
tecnología en general y en lo que respecta a la Inteligencia Artificial en
particular, por ello, es posible que se produzcan ataques provenientes de
empresas rivales que buscan robar propiedad intelectual o menoscabar la
reputación de las compañías que desarrollan o emplean sistemas de IA.

3.4. Hacktivistas

Este concepto mezcla el hackeo con el activismo para referirse a los actores
hostiles cuya motivación es, esencialmente, ideológica y que buscan hackear
los sistemas de IA para evidenciar sus vulnerabilidades y riesgos.

El auge de la Inteligencia Artificial y el protagonismo acaparado por la IA

generativa en los últimos tiempos ha acentuado la aparición de voces que
alertan sobre los peligros de la IA, no solo a nivel de ciberseguridad.

ELIO

4. ¿En qué se diferencian los riesgos de la IA de los riesgos tradicionales

del software?

Los sistemas de Inteligencia Artificial son software, pero con ciertas

particularidades que lo vuelven más complejo y amplían la superficie de ataque
del software tradicional.

Por eso, el framework para gestionar los riesgos de la Inteligencia Artificial

desarrollado por NIST recopila algunos de los riesgos nuevos asociados al
auge de la IA. El NIST también detalla otras amenazas que ya existían en lo
relativo al software que empleamos diariamente, pero que se han visto
agravadas.

Algunos de estos riesgos no están relacionados directamente con la

ciberseguridad. Por ejemplo, los costes computacionales del desarrollo de IA,
la complejidad de las tareas de mantenimiento, o el impacto de estas
tecnologías en el medio ambiente.
 Sin embargo, el framework sí recoge riesgos relacionadas con la seguridad de
los sistemas, las organizaciones y los usuarios.

4.1. Nuevos y más complejos desafíos en materia de ciberseguridad

1. Los datos empleados en la construcción del sistema de Inteligencia Artificial

pueden no representar de forma fidedigna el contexto o el uso previsto del
sistema y la calidad de los datos puede repercutir en la fiabilidad de la IA, con
las consecuencias negativas que ello conllevaría.
2. La dependencia de los sistemas de IA de los datos que se usan para su
entrenamiento.
3. Las modificaciones producidas durante la fase de entrenamiento, sean o no
intencionadas, pueden alterar el rendimiento del sistema de IA.
4. Los conjuntos de datos que se usan durante el entrenamiento de una IA
pueden quedar obsoletos en el momento de despliegue del sistema, lo que
afectaría a los resultados de la IA.
5. La descompensación existente entre la escala y la complejidad de los sistemas
de IA y las aplicaciones de software convencionales que los alojan.
6. Los modelos pre-entrenados son claves para facilitar la investigación en IA y
desarrollar sistemas con alto rendimiento en menos tiempo y con menos
costes. Sin embargo, también pueden incrementar los niveles de
incertidumbre estadística y causar problemas de sesgos y reproductibilidad.
7. Múltiples riesgos de privacidad, como consecuencia de la enorme capacidad
de agregación de datos de los sistemas de IA.
8. Resulta más difícil realizar pruebas de seguridad de software basadas en
IA, puesto que el desarrollo de código de las IA no es igual que el desarrollo
de código tradicional y pueden surgir dudas sobre qué y como se debe testear.

4.2. Poner en marcha una estrategia de seguridad para los sistemas de IA

Los riesgos de seguridad específicos de los sistemas de IA hacen

necesario que las organizaciones pongan en marcha estrategias para
gestionar los riesgos de ciberseguridad y privacidad en todas las fases del
ciclo de vida de la IA: diseño, desarrollo, despliegue, evaluación y uso.

En este sentido, los servicios de ciberseguridad deben incorporarse al

programa de seguridad de las compañías. Modelado de amenazas, análisis de
riesgo, capacitación de los profesionales, análisis estáticos y dinámicos,
análisis del código, pentesting, ejercicios de Red Team…

De esta forma se podrá fortalecer la seguridad, la resiliencia y la privacidad de

los sistemas de IA para lograr:

 Securizar las aplicaciones y la infraestructura IT, escondiendo los

parámetros del modelo, para protegerlo frente a los ataques.
 Fortalecer la protección de los nuevos pipelines de desarrollo ligados a la IA.
 Gestionar de forma adecuada los problemas de sesgos en los sistemas de IA.
 Afrontar los riesgos asociados a la IA generativa.
 Hacer frente a los problemas de seguridad vinculados a la evasión, extracción
de modelos, disponibilidad de los sistemas y la puesta en marcha de ataques
de Machine Learning.
 Analizar y monitorear monitorizar la compleja superficie de ataque de los
sistemas de IA para detectar ataques en fases tempranas de la Cyber Kill
Chain y comportamientos anómalos.
 Tener en consideración los riesgos vinculados a las tecnologías de IA
desarrolladas por terceros.

La investigación en Inteligencia Artificial está en pleno apogeo. Las

innovaciones tecnológicas que se producen en este ámbito, pero también en el
desarrollo software, deben servir para fortalecer la fiabilidad y rendimiento de
los sistemas. También, su seguridad y resiliencia frente a las acciones de los
actores hostiles.

5. La seguridad de la IA, una cuestión capital en esta era

La incorporación de la Inteligencia Artificial a los diversos sectores productivos

y la democratización del acceso a la IA, con herramientas al alcance de las
pymes y no solo de las grandes compañías, supone un nuevo hito en la
revolución tecnológica que hemos experimentado en las últimas décadas.

Por eso mismo, los riesgos de seguridad de la IA deben situarse en el

centro del debate público y en el corazón de las estrategias
empresariales.

Los ataques exitosos contra sistemas de IA pueden generar repercusiones

catastróficas para las compañías que los desarrollan, pero también para las
empresas que los usan y el conjunto de la ciudadanía: exfiltración de datos
privados, desinformación, pérdida reputacional, consecuencias legales…

De ahí que sea fundamental abordar la seguridad de la IA a lo largo de todo su

ciclo de vida, implementando controles de seguridad eficaces y realizando
evaluaciones de seguridad continuas.

5.1. Security-by-design y a lo largo de todo el ciclo de vida

Como señala la guía de ENISA sobre IA y ciberseguridad, el concepto

security-by-design, ampliamente extendido en el ámbito del desarrollo de
software, debe trasladarse al terreno de la IA.

¿Cómo? Integrando controles, mecanismos y buenas prácticas de

ciberseguridad en las primeras fases del diseño y desarrollo de los sistemas
de IA y de las aplicaciones e infraestructuras IT que los soportan. Así, la
agencia de la UE recomienda:
1. Llevar a cabo de forma continua pruebas de seguridad y realizar modelados
de amenazas para identificar vulnerabilidades, fallos y vectores de ataque.
2. Apostar por prácticas de codificación segura y realizar auditorías de código
fuente para detectar errores y vulnerabilidades.
3. Implementar prácticas seguras en lo que respecta al tratamiento de datos, para
garantizar la confidencialidad y evitar la corrupción o extracción de los datos.
4. Ejecutar pruebas de seguridad en el proceso de desarrollo que sirvan para
identificar problemas de seguridad en fases tempranas. Test como DAST son
esenciales para gestionar el riesgo dinámico de ciberseguridad y poder
priorizar las amenazas.
5. Asegurarse de que los sistemas de IA son diseñados de forma transparente y
su comportamiento puede ser auditado de forma continua para detectar
comportamientos anómalos y corregirlos antes de que provoquen incidentes de
seguridad.

En definitiva, los riesgos de seguridad de la IA deben acometerse con la

máxima eficiencia y rigurosidad. Aplicando con criterio todo el caudal de
conocimientos, buenas prácticas, pruebas y metodologías diseñados por los
profesionales de la ciberseguridad en las últimas décadas.

Para ello, es fundamental introducir controles de seguridad desde la primera

fase del ciclo de vida de un sistema de IA, disponer de equipos
multidisciplinares y llevar a cabo un monitoreo exhaustivo de la cadena de
suministro de IA.

La IA es esencial para optimizar los servicios de ciberseguridad. Y la

ciberseguridad es el mejor escudo del que disponemos para proteger a esta
tecnología frente a los actores hostiles.