Trabajo Final de MÁSTER: Reglamento de Inteligencia Artificial Europeo

Trabajo Final de MÁSTER
Nuevas Tecnologías y Propiedad Intelectual

Coordinadora Marta Baylina
Reglamento de Inteligencia Artificial Europeo:

compliance para startups y PYMES
Programa: Doble Máster Universitario en Abogacía y Nuevas

Tecnologías y Propiedad Intelectual
Curso 2022 - 2023
Alumna: Carina Casadesús
Tutor: Joaquím Matinero
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0
Internacional.
AGRADECIMIENTOS
Quiero agradecer a mi tutor de TFM, Joaquím Matinero, por su orientación, iniciativas y

apoyo a lo largo de este proceso.
Asimismo, deseo expresar mi agradecimiento a Nicolás Pardina, CEO y fundador de Growth.

Su conocimiento ha enriquecido este trabajo y ha brindado una perspectiva pragmática
ilustrada a través de una startup basada en inteligencia artificial.
1
ÍNDICE
I. INTRODUCCIÓN............................................................................................................................3
II. AVISO AL LECTOR.........................................................................................................................7
III. NOCIONES BÁSICAS DE INTELIGENCIA ARTIFICIAL..................................................................... 10
1. CONCEPTO GENERAL.................................................................................................................. 10
A. Definición de inteligencia artificial.......................................................................................10
B. Funcionamiento de la inteligencia artificial......................................................................... 12
C. Machine Learning................................................................................................................ 13
D. Deep Learning......................................................................................................................14
2. CONCEPTO DE IA EN EUROPA..................................................................................................... 15
IV. ASPECTOS GENERALES DEL REGLAMENTO DE INTELIGENCIA ARTIFICIAL................................... 20
1. PRINCIPIOS Y OBJETIVOS DEL REGLAMENTO............................................................................. 20
2. ESTRUCTURA DEL REGLAMENTO................................................................................................22
3. OBJETO Y ÁMBITO DE APLICACIÓN............................................................................................ 24
A. Operadores del Reglamento de Inteligencia Artificial......................................................... 24
B. Ámbito territorial................................................................................................................. 30
C. Exclusiones del ámbito de aplicación...................................................................................31
D. Biometría............................................................................................................................. 33
E. Sistemas de uso general y modelos fundacionales.............................................................. 35
F. Gobernanza.......................................................................................................................... 36
V. GROWTH: CASO DE ESTUDIO..................................................................................................... 38
VI. PRÁCTICAS DE IA PROHIBIDAS..................................................................................................40
VII. SISTEMAS DE ALTO RIESGO......................................................................................................49
1. CLASIFICACIÓN DE LOS SISTEMAS DE ALTO RIESGO................................................................... 49
2. OBLIGACIONES DE LOS SISTEMAS DE ALTO RIESGO................................................................... 55
A. Introducción.........................................................................................................................55
B. La importancia de la finalidad..............................................................................................56
C. Listado de obligaciones para los SAR................................................................................... 57
D. Códigos de conducta............................................................................................................77
VIII. REQUISITOS DE TRANSPARENCIA PARA DETERMINADOS SISTEMAS DE IA.............................. 79
IX. MEDIDAS DE APOYO A LA INNOVACIÓN....................................................................................81
1. REGULATORY SANDBOX..............................................................................................................81
2. MEDIDAS ESPECIALMENTE DIRIGIDAS A STARTUPS Y PYMES.....................................................82
X. DISEÑO DE UN PLAN DE ACCIÓN PARA EMPRESAS EMERGENTES QUE USEN SISTEMAS DE IA.... 84
XI. RECOMENDACIONES NORMATIVAS.......................................................................................... 91
XII. CONCLUSIÓN...........................................................................................................................96
ANEXO I.......................................................................................................................................101
ANEXO II......................................................................................................................................102
ANEXO III.....................................................................................................................................105
BIBLIOGRAFÍA............................................................................................................................. 107
2
I. INTRODUCCIÓN
Contexto social y regulatorio
FundéuRAE, entidad responsable de escoger la palabra del año, se vio obligada a hacer una
excepción en 2022 y optó por dos: «inteligencia artificial» (si bien IA podría interpretarse
como una única palabra). Es comprensible que se salten las reglas, la inteligencia artificial ha
revolucionado todos los procesos. Conceptos como estudiar, escribir, investigar o diseñar,
han cambiado radicalmente en un año. Hasta el punto que «ChatGPT», la plataforma
responsable de este giro copernicano, se está empleando por el público como sinónimo de
inteligencia artificial, contribuyendo a la vulgarización de la marca de OpenAI y alejándonos
de la verdadera magnitud de la IA.
Sin embargo, la inteligencia artificial lleva sigilosamente dominando nuestras vidas desde
mucho antes de 2022. Google Maps, redes sociales, la carpeta de spam, el reconocimiento
facial, etc., son aplicaciones informáticas basadas en algoritmos que cada vez han ido
desarrollando nuevas y asombrosas capacidades.
A pesar de la omnipresencia de estos sistemas inteligentes, ha tenido que transcurrir más de

una década hasta que se han iniciado los procedimientos necesarios para regular esta
tecnología en un texto legislativo específico. Hasta el momento, se había contenido el
avance de la inteligencia artificial mediante el acquis communautaire, como el Reglamento
General de Protección de Datos (RGPD)1, que regula en el artículo 22 la elaboración de
perfiles automatizados, y otra normativa nacional, como la regulación laboral2. Sin embargo,
la irrupción del Big Data, la evolución contínua de los sistemas de IA y la falta de
transparencia intrínseca de estos sistemas requirió al legislador que modifique su estrategia,
y en 2018, la Comisión inició el ambicioso proyecto de un Reglamento de IA europeo.
1
El RGPD (Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a
la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre
circulación de estos datos).
2
Véase por ejemplo el artículo 64.4.d) del Estatuto de los Trabajadores (Real Decreto Legislativo 2/2015, de 23
de octubre, por el que se aprueba el texto refundido de la Ley del Estatuto de los Trabajadores), que establece
que el Comité de Empresa tendrá derecho a ser informado de “los parámetros, reglas e instrucciones en los
que se basan los algoritmos o sistemas de inteligencia artificial que afectan a la toma de decisiones que pueden
incidir en las condiciones de trabajo, el acceso y mantenimiento del empleo”.
3
Son muchos los objetivos que pretende asumir este Reglamento, sin embargo todos
confluyen en la voluntad de que Europa sea un lugar seguro y avanzado en materia de IA,
tanto para los ciudadanos como para las empresas. El Reglamento vehicula la obtención de
la seguridad mediante la imposición de obligaciones a los operadores del mercado de
inteligencia artificial para que los sistemas de riesgo cuenten con todas las garantías debidas
(que sean transparentes, que se entrenen con datos adecuados, que sean vigilados por
humanos, etc.).
No obstante, la seguridad tiene un precio, y en este caso, los deberes que se imponen a los
operadores económicos pueden jugar en detrimento de la innovación. El alto grado de
compliance que generará el Reglamento tendrá consecuencias en el mercado a través de la
reducción en inversión, suponiendo un verdadero gravámen para startups y PYMES.
Durante el siglo XX, las economías de escala convirtieron a las grandes compañías en las
responsables de la generación riqueza, sin embargo, a partir del siglo XXI, las empresas de
menor tamaño han pasado a ser las protagonistas de la innovación a causa de la eliminación
de barreras de entrada, el incremento del capital y la disposición gratuita de conocimiento3.
Hoy en día, startups y PYMES configuran el 99% de empresas de la UE y han creado el 85%
de empleos de los últimos 5 años4. Dada la importancia que tienen estas empresas en el
tejido innovativo, y en un contexto económico en el que Estados Unidos y China lideran el
desarrollo tecnológico en materia de IA5, una excesiva carga documental y de control sobre
estas empresas emergentes puede significar un mayor retroceso en la carrera de la
inteligencia artificial.
3
OECD. (2010). SMEs, Entrepreneurship and Innovation (p. 27). Paris: OECD Publishing.
https://read.oecd-ilibrary.org/industry-and-services/smes-entrepreneurship-and-innovation_9789264080355-
en
4
Comisión Europea. (2022). Apoyo de la UE a las empresas en el mundo digital.
https://digital-strategy.ec.europa.eu/es/activities/support-businesses#:~:text=Las%20peque%C3%B1as%20y%2
0medianas%20empresas,los%20nuevos%20puestos%20de%20trabajo
5
Garay, J. (7 de septiembre de 2023). EE UU y China preparan sistemas autónomos controlados por IA para las
guerras del futuro. Wired.
https://es.wired.com/articulos/ee-uu-y-china-preparan-sistemas-controlados-por-ia-para-la-guerra
4
Objetivo del presente estudio
El legislador europeo, consciente de la problemática ahora expuesta, enfatiza en el

Reglamento la distinta naturaleza de las empresas de menor tamaño e introduce ciertos
preceptos que pretenden reducir la carga regulatoria y fomentar el desarrollo de este tipo de
empresas. No obstante, las propuestas del Reglamento deben ser analizadas críticamente y
valorar su factibilidad y efectividad, con el fin de evitar que se conviertan en meras
declaraciones sin impacto real.
Es por ello, que el objetivo de este trabajo es identificar los problemas, riesgos y
oportunidades para startups y PYMES que surgirán a partir de la aplicación del Reglamento
de IA. A falta de un Reglamento de IA definitivo, mediante el análisis de sus distintas
versiones provisionales, y desde la óptica de una empresa con recursos escasos, se valorará
el alcance del Reglamento, sus consecuencias y obstáculos que pueden surgir de la
interiorización de las obligaciones.
Además, este trabajo tiene una fuerte orientación práctica, respaldada por el testimonio de
Growth, una startup española basada en IA, y con otros ejemplos reales que serán
introducidos a lo largo del documento. No obstante, este trabajo tiene también una finalidad
práctica, ya que está planteado de manera que pueda ser utilizado como una guía por
startups ante la nueva regulación. De hecho, las observaciones del trabajo sobre la
aplicación del Reglamento culminan en un conjunto de recomendaciones a empresas
emergentes que pretenden servir de orientación en un momento de incertidumbre legal.
Estructura
Establecida la finalidad del trabajo, la estructura se presenta de la siguiente manera. En

primer lugar, se proporciona un breve resúmen de las nociones básicas necesarias para
entender qué es un sistema de IA y cuáles son sus posibles funcionalidades. Esto es
fundamental para determinar qué se entiende por sistema de IA en el Reglamento y
delimitar su ámbito de aplicación.
5
Posteriormente, al profundizar en la normativa, se analizan los principios y objetivos
rectores del Reglamento y se limita el ámbito de aplicación, tanto en términos objetivos
como territoriales. Los siguientes apartados se centran en analizar las obligaciones previstas
para cada nivel de riesgo previsto en el Reglamento y se exploran las medidas en apoyo a la
innovación propuestas por el Reglamento.
Los últimos segmentos recopilan las observaciones del trabajo, presentándose, por un lado,
en forma de un listado de indicaciones para empresas emergentes, y por otro, en un
conjunto de recomendaciones dirigido a los organismos regulatorios europeos.
6
II. AVISO AL LECTOR
Previo a abordar el contenido del presente estudio, es preciso advertir al lector de que a
fecha de noviembre de 2023 aún no ha sido aprobada una versión definitiva del Reglamento
de IA (en adelante, RIA), si bien existen tres propuestas del texto elaboradas en orden
cronológico por la Comisión Europea (2021)6, el Consejo de la Unión Europea (2022)7 y el
Parlamento Europeo (2023)8. Es importante remarcar que los tres textos se basan en una
misma estructura, al tratarse cada uno de ellos de una modificación de los artículos
previstos en su texto predecesor. Es por ello, que si se hace referencia a un artículo, salvo
que se trate de un artículo añadido en el formato bis, la idea general del artículo estará
previsto en los tres textos, si bien probablemente con distintos redactados. Adicionalmente,
se dispone de otros trabajos preparatorios, que en conjunto, permiten adelantarnos a la
aprobación del Reglamento definitivo.
Los primeros esfuerzos regulatorios empezaron en abril de 2018, con la Comunicación de la

Comisión al Parlamento Europeo y a otras instituciones sobre Inteligencia Artificial para
Europa9. Dicha comunicación pretendía un plan coordinado entre los países para aprovechar
las oportunidades y afrontar los retos de esta nueva revolución. En junio del mismo año, la
Comisión constituyó el Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial, que en
2019 publicaron dos documentos de gran relevancia para el proceso regulatorio, el primero
“Una definición de IA: Principales capacidades y disciplinas científicas”10 y el segundo,
6
Comisión Europea. (21 de abril de 2021). Propuesta de Reglamento del Parlamento Europeo y del Consejo por
el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se
modifican determinados actos legislativos de la Unión.
https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52021PC0206
7
Consejo de la Unión Europea. (6 de diciembre de 2022). Propuesta de Reglamento del Parlamento Europeo y
del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de
Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión
https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CONSIL:ST_15698_2022_INIT&qid=1701034679175f
8
Parlamento Europeo. (14 de junio de 2023). Enmiendas aprobadas por el Parlamento Europeo el 14 de junio
de 2023 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen
normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican
determinados actos legislativos de la Unión.
https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_EN.html
9
Comisión Europea. (25 de abril de 2018). Comunicación 2018/237 de la Comisión al Parlamento Europeo, al
Consejo Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones sobre
Inteligencia artificial para Europa de 25 de abril de 2018.
10
Grupo Independiente de Expertos de Alto Nivel sobre Inteligencia Artificial. (2019). Una definición de la
inteligencia artificial: Principales capacidades y disciplinas científicas.
https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=60656
7
“Directrices éticas para una IA fiable11”. Más adelante, en febrero de 2020, se publicó “El
Libro Blanco de IA de la Comisión Europea”12, considerado por muchos el predecesor del RIA,
que materializaba la voluntad europea de ser líder en el sector de la IA, con una serie de
acciones, y con especial incidencia en las PYMES.
Después de estos trabajos preparatorios, la Comisión publicó una evaluación de impacto13,

para luego, en abril de 2021, publicar la primera propuesta de Reglamento de IA. Dicha
propuesta, fue luego revisada por el Consejo de la UE en noviembre de 2022, en la que
introducía una serie de cambios. Más tarde, en junio de 2023, el Parlamento aprobó una
tercera versión sobre la propuesta inicial de la Comisión.
Por tanto, actualmente existen tres versiones del Reglamento, que deberán ser negociadas
en el trílogo entre el Consejo de la Unión Europea y el Parlamento y con la mediación de la
Comisión, con el objetivo de aprobar un documento definitivo previsiblemente a finales de
2023, si bien podrá posponerse en función de la velocidad de convergencia entre los
colegisladores.
Dado que los distintos elementos de cada texto pueden estar presentes en el RIA definitivo,
se tomarán los tres textos como referencia para evaluar las oportunidades, consecuencias y
costes que puedan derivarse de la aplicación del reglamento. Además, poder comparar las
distintas propuestas, aportarán al trabajo riqueza y capas de razonamiento.
El hecho de que no exista un texto definitivo no resta valor al análisis y las propuestas
incluidas en el presente trabajo. En primer lugar, porque si bien es cierto que hay aspectos
del RIA que se prevé que sean modificados sustancialmente, como la regulación de modelos
de uso general o el sistema de gobernanza del reglamento, el resto de previsiones del
Reglamento se espera que se mantengan, al no haber excesivas diferencias entre las tres
propuestas. Por tanto, si bien pueden cambiar aspectos accesorios, la estructura
fundamental permanecerá inalterada. Además, se trata de un Reglamento de mínimos, ya
11
Grupo Independiente de Expertos de Alto Nivel sobre Inteligencia Artificial. (2019). Directrices éticas para
una IA fiable. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai
12
Comisión Europea. (2020). Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la
excelencia y a la confianza.
https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52020DC0065
13
Comisión Europea, (2021). Evaluación de impacto que acompaña la Propuesta de Reglamento de Inteligencia
Artificial.
https://digital-strategy.ec.europa.eu/en/library/impact-assessment-regulation-artificial-intelligence
8
que las especificaciones técnicas serán desarrolladas a posteriori mediante estándares
armonizados y guías prácticas elaboradas por las autoridades.
Por último, la anticipación permite obtener ventajas económicas significativas. Como bien
remarca la IAPP14, para el momento en que el Reglamento entre en vigor, las organizaciones
habrán invertido cientos de millones en sistemas de IA que quizás estarán prohibidos o
requieren de modificaciones en base al RIA. Por tanto, tal como se anuncia en las
recomendaciones finales del presente estudio, es recomendable que las empresas ya
prevean qué requisitos les serán exigidos, para poder reducir parte de los costes.
14
Fennessy, C. (2 de agosto de 2023). Regulators' rulebook for AI: Bit by bit. IAPP.
https://iapp.org/news/a/regulators-rulebook-for-ai-bit-by-bit/
9
III. NOCIONES BÁSICAS DE INTELIGENCIA ARTIFICIAL
1. CONCEPTO GENERAL
A. Definición de inteligencia artificial
Antes de analizar en profundidad el futuro Reglamento de Inteligencia Artificial, es necesario

poner en contexto al lector con la noción general de inteligencia artificial y otros conceptos
relacionados.
Existen infinitas definiciones de inteligencia artificial, probablemente por la dificultad de

definir lo que es la inteligencia. Centrándonos en el primer vocablo, la Real Academia
Española15 propone dos acepciones. La primera es “1. Capacidad de entender o
comprender”, y la segunda, “2. Capacidad de resolver problemas”. Sin embargo, en un
mundo donde las máquinas se crean para facilitar o asumir nuestras tareas diarias, su
inteligencia se mide mediante la capacidad que tienen de resolución de problemas
(acepción 2), también llamado racionalidad16, dado que el privilegio de sólo entender
(acepción 1) es una capacidad que, de momento, se reserva únicamente a los humanos.
Teniendo esto en cuenta, existen dos corrientes distintas para definir inteligencia artificial. El
primer grupo se centra en la imitación del comportamiento humano, como Bellman (1978),
que propone que la IA es “la automatización de actividades que asociamos al
comportamiento humano, como toma de decisiones, resolución de problemas, aprender,
etc.”17. El segundo grupo orbita alrededor de la racionalidad máxima18, como Winston
(1992), que define la IA como “el estudio de los cálculos que permiten percibir, razonar y
actuar”. Estas tres acciones no están únicamente reservadas a los humanos; un girasol
percibe y actúa, si bien no razona. Pero un perro podría también razonar. Sin embargo,
independientemente de la corriente que se adopte, el comportamiento humano siempre se
15
Definición disponible en https://dle.rae.es/inteligencia
16
También adoptan el concepto de racionalidad Russell, S. & Norvig, P. (2010). Artificial intelligence: a modern
approach (3ª ed.). Pearson.
17
Otras definiciones parecidas pueden encontrarse en Navas, S., Górriz, C., Camacho, S., Robert, S., Castells, M.
& Mateo, I. (2017). Inteligencia artificial : tecnología, derecho (1ª ed.). Tirant lo Blanch.
18
Russell, S. & Norvig, P. (2010). Artificial intelligence: a modern approach (3ª ed.). Pearson.
10
toma como el estándar de excelencia de la máquina. No queremos que la máquina razone
como un perro, sino como una persona.
El concepto de imitación es la base del principio del test de Turing19 (1950), uno de los
padres de la computación, que postula que una máquina inteligente es aquella que parece
inteligente a ojos de las personas. En 2014, el software de chatbot Eugene logró superar el
test de Turing, haciéndose pasar por un niño ucraniano y haciendo creer a un porcentaje del
jurado que se trataba de un niño real. Sin embargo, ¿es Eugene inteligente?
Hasta la fecha, no se ha creado una máquina autónoma que no esté programada para imitar
el raciocinio humano. Es decir, ninguna máquina ha desarrollado un teorema o ha llegado a
una conclusión para la que no estaba programada. Este enfoque de mimetizar el
comportamiento humano ha llevado a abandonar el test de Turing como estándar de
inteligencia, dado que con la introducción del Big data ha resultado muy sencillo imitar el
comportamiento humano, todo y que las máquinas siguen sin comprender nada.
Así lo refleja el argumento de la habitación china de Searle20 (1980), que rebate el teorema
de Turing haciendo uso de la siguiente metáfora: en una sala cerrada hay un hombre que no
sabe chino, al que le envían por debajo de la puerta ciertos carácteres chinos. El hombre,
mediante un manual, sabe con qué carácteres chinos debe responder, todo y no saber nada
de chino. En cambio, la persona que está fuera, tiene la falsa apariencia de que el hombre
dentro entiende chino, siendo esto una falsedad. Por tanto, Searle argumenta que el hecho
de que una máquina pueda parecer que piense, no significa que efectivamente piense.
Esta introducción es útil para entender que los distintos conceptos de inteligencia, llevan a
distintas ramas de inteligencia artificial, bifurcándose en, por un lado, la IA general o fuerte,
y por otro lado, la IA específica o débil. Todos los sistemas de IA que conocemos a día de hoy
son específicos o débiles, es decir, son modelos de IA programados para dar respuesta
dentro de un contexto técnico limitado. Por ejemplo, traductores, doctores online, chat bots,
todos basados en la imitación de patrones humanos. Por otro lado, la IA general o fuerte, no
19
Turing se considera el padre de la inteligencia artificial, dado que en 1936 fue el primero en publicar sobre
dicha cuestión, para más adelante, en 1950, publicar un escrito en el que expone la idea de que una máquina
puede pensar como un ser humano y presenta el Test de Turing. Sin embargo, el concepto de IA nace en 1956,
en una conferencia de Darmouth determinada para ver si las máquinas podían hacer decisiones inteligentes
más allá de meros cálculos.
20
Searle, J. (1985). Mentes, cerebros y programas. Cátedra.
11
necesitaría una programación tan exhaustiva ni un volumen de datos elevados, ya que por sí
misma generaría conexiones lógicas que permitirían un aprendizaje más rápido. Incluso las
tecnologías que se presentan como versiones mejoradas de ChatGPT y otros buscadores,
siguen teniendo problemas de lógica, sesgos y el sistema no sabe cuando puede estar
seguro de su respuesta21.
La conclusión general es que las infinitas definiciones de IA que podemos encontrar en la

literatura confluyen en que la inteligencia artificial, mediante el uso de distintas técnicas,
trata de imitar el raciocinio humano, en un grado mayor (IA fuerte) o menor (IA débil),
alimentándose de datos y con habilidades artificiales como la memoria, la lógica, la
deducción o el razonamiento. Pero en ningún caso estos sistemas están programados para
superar el conocimiento humano, de momento.
B. Funcionamiento de la inteligencia artificial
Entendida la inteligencia artificial en el plano teórico, conviene entender cómo se

materializa. Simplificando la cuestión, se podría decir que la IA nace simplemente de la
combinación de datos y algoritmos.
Los algoritmos son conjuntos de reglas o instrucciones en lenguaje informático para obtener
un fin. Estas reglas son definidas por humanos, y por tanto, es cuestionable si una máquina
puede llegar a crear sus propias reglas, y por tanto, comprender. Hay muchos tipos de
algoritmos en función del fin que se pretenda: de búsqueda, de probabilidad, de
ordenamiento, etc. También los hay cuantitativos, si se basan en cálculos matemáticos, o
cualitativos, si se basan en órdenes lógicas.
Los algoritmos más sencillos pueden representarse como diagramas de flujo o simplemente
en lenguaje común, para luego ser transformados en código o lenguaje informático y ser
comprendido por la máquina.
21
Heka.ai (2023). From GPT-3 and ChatGPT to GPT-4: OpenAI’s road to Artificial General Intelligence (AGI)?.
Medium.
https://heka-ai.medium.com/from-gpt-3-and-chatgpt-to-gpt-4-openais-road-to-artificial-general-intelligence-a
gi-85b2209f4d0c
12
Por ejemplo, el control parental de una página web es un algoritmo. La regla es que si la
persona marca la casilla “mayor de 18 años”, se concederá el acceso, en caso contrario, se
denegará el acceso. En lenguaje Python, se vería así:
Fig. 1: Ejemplo de algoritmo básico
Este ejemplo no parece muy inteligente, y es por que hoy en día la inteligencia artificial hace
uso de algoritmos que se alimentan de bases de datos masivas, que permiten que la
máquina aprenda de la experiencia y se reconfigure ante nuevos escenarios. Aquí es donde
entran los conceptos de machine learning y deep learning.
C. Machine Learning
El machine learning, o aprendizaje automático, constituye una rama de la inteligencia

artificial que abandona la noción de seguir reglas o algoritmos estrictos22, para pasar a
aprender autónomamente a partir del ingreso masivo de datos previamente clasificados por
humanos23, también llamados datos de entrenamiento. La lógica subyacente es que resulta
más sencillo explicar lo que es una carretera mediante imágenes que mediante normas que
se construyen explícitamente paso por paso24. Una vez entrenado, el sistema podrá hacer
predicciones y patrones25 sobre datos nuevos, sin estar explícitamente programado para
ello26.
22
Brynjolfsson, E. & McAfee, A. (2017). The business of artificial intelligence. Harvard Business Review. También
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. The MIT Press.
23
Villegas, C. & Martín, P. (2022). El derecho en la encrucijada tecnológica: Estudios sobre derechos
fundamentales, nuevas tecnologías e inteligencia artificial. Tirant.
24
Consejo de la Unión Europea. (6 de diciembre de 2022). Propuesta de Reglamento del Consejo por el que se
establecen normas armonizadas en materia de inteligencia artificial. Recital 6a.
25
Janiesch, C., Zschech, P. & Heinrich, K. (2021). Machine learning and deep learning.
https://doi.org/10.1007/s12525-021-00475-2
26
Bishop, C. (2006). Pattern recognition and machine learning. Springer.
13
El machine learning es usado principalmente para los problemas en que no se conocen las
normas lógicas para resolverlo o en los problemas en los que los datos o la experiencia
tienen un rol más relevante. Por ejemplo, se usa en los sectores de detección del fraude, en
scoring, en el procesamiento de lenguaje natural, y sobre todo en la identificación de
imágenes, por ejemplo, para coches autónomos. Cada vez que un captcha nos obliga a
identificar cuántos puentes hay en una serie de imágenes, estamos aumentando el banco de
datos de entrenamiento para el coche autónomo. Luego, esta información permitirá al
programa informático predecir en tiempo real si el coche está pasando por un puente sin
tener que programar cada una de las muchas reglas que definen los puentes alrededor del
mundo.
D. Deep Learning
Dentro de la categoría de machine learning, existe otra subcategoría, que es el deep

learning, o aprendizaje profundo. Este se basa en redes neuronales artificiales, constituidas
por nodos y capas, que simulan el raciocinio humano27 sin tener que depender tampoco de
reglas lógicas.
Retomando el ejemplo del puente, si se utiliza machine learning, el sistema aprenderá de

otras imágenes, pero deberá estar programado para analizar variables concretas (número de
objetos encima del puente, tamaño, materiales, etc.) y las imágenes de entrenamiento
estarán previamente clasificadas. Sin embargo, un sistema de deep learning no necesita que
se guíe su aprendizaje, ya que el sistema se redirige automáticamente mediante la
optimización del uso de nodos.
Los nodos de cada capa procesan la información y la transmite a los nodos de la siguiente
capa. Cada nodo que procesa la información puede tener un peso más o menos relevante,
permitiendo distintas combinaciones que generarán resultados distintos. El aprendizaje
profundo se basa en perfeccionar la ponderación del peso que se le da a cada nodo para que
da el resultado más ajustado a la realidad. Es decir, en este caso no es necesario clasificar los
datos de entrenamiento, sino comparar si los resultados se ajustan a la realidad.
27
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. The MIT Press. También LeCun, Y., Bengio, Y.
& Hinton, G. (2015). Deep learning. Nature 521.
14
Si bien el deep learning tiene una mayor capacidad de aprendizaje, y por tanto mayor
autonomía y mejores resultados28, también tiene mayor opacidad. Es difícil comprender qué
sucede exactamente en esas interacciones neuronales y pueden surgir sesgos indetectables
por los humanos, también conocido como el efecto de caja negra. Como se verá a lo largo
del trabajo, esta problemática tendrá un impacto en las obligaciones de transparencia que
prevé el Reglamento de Inteligencia Artificial.
Después de analizar esto conceptos, queda aún más patente que la inteligencia artificial se
basa en imitar el comportamiento humano, y que si bien puede aprender de manera
autónoma, no puede comprender. En caso contrario, no requeriría de datos clasificados o de
comprobaciones de output, ya que no es capaz de determinar si sus respuestas son
correctas, al no entenderlas.
2. CONCEPTO DE IA EN EUROPA
Las primeras definiciones
Entendida la IA en un plano conceptual, a continuación se estudiará cómo ha evolucionado

la definición legal de IA para las distintas instituciones de la Unión Europea, cuestión clave
para entender el ámbito de aplicación del Reglamento de Inteligencia Artificial.
La primera definición oficial aparece en abril de 2018 en la Comunicación de la Comisión al

Parlamento Europeo y a otras instituciones sobre Inteligencia Artificial para Europa29, ya
presentada en el aviso al lector. En dicha comunicación se expresaba:
“El término «inteligencia artificial» (IA) se aplica a los sistemas que manifiestan un
comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la
acción –con cierto grado de autonomía– con el fin de alcanzar objetivos específicos.”
28
Madani, A., Arnaout, R., Mofrad, M. & Arnaout, R. (2018). Fast and accurate view classification of
echocardiograms using deep learning. Npj Digital Medicine, 1(1). https://doi.org/10.1038/s41746-017-0013-1.
También Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., Lanctot, M., Sifre, L., Kumaran,
D., Graepel, T., Lillicrap, T., Simonyan, K. & Hassabis, D. (2018). A general reinforcement learning algorithm that
masters chess, shogi, and go through self play. Science, 362(6419), 1140–1144.
https://doi.org/10.1126/science.aar6404.
29
Comisión Europea. (2018). Comunicación 2018/237 de la Comisión al Parlamento Europeo, al Consejo
Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones sobre Inteligencia
artificial para Europa de 25 de abril de 2018.
15
Como puede observarse, se trata de una definición un tanto tautológica, ya que se introduce
en la definición el propio concepto indeterminado de inteligencia. Esta definición fue usada
más tarde por el Parlamento Europeo en la Resolución de 20 de octubre de 2020, con
recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en
materia de inteligencia artificial30.
En abril de 2019, el Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial creado por la
Comisión, en “Una definición de IA: Principales capacidades y disciplinas científicas”31,
matizó y expandió la definición:
“Los sistemas de inteligencia artificial (IA) son sistemas de software (y en algunos

casos también de hardware) diseñados por seres humanos que, dado un objetivo
complejo, actúan en la dimensión física o digital mediante la percepción de su
entorno a través de la obtención de datos, la interpretación de los datos
estructurados o no estructurados que recopilan, el razonamiento sobre el
conocimiento o el procesamiento de la información derivados de esos datos, y
decidiendo la acción o acciones óptimas que deben llevar a cabo para lograr el
objetivo establecido. Los sistemas de IA pueden utilizar normas simbólicas o aprender
un modelo numérico; también pueden adaptar su conducta mediante el análisis del
modo en que el entorno se ve afectado por sus acciones anteriores.”
Esta definición, si bien es muy completa, es lo contrario a flexible y no es práctica para ser
usada como definición legal que perdure en el tiempo.
Más adelante, en febrero de 2020, se publicó “El Libro Blanco de IA de la Comisión

Europea”32, considerado por muchos el predecesor del RIA, donde no se propone una
definición, pero se reconoce el trabajo del Grupo de Expertos y resalta la necesidad de una
definición flexible que ofrezca seguridad jurídica.
30
Parlamento Europeo. (20 de octubre de 2020). Resolución del Parlamento Europeo, de 20 de octubre de
2020, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de
inteligencia artificial (2020/2014(INL)).
https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52020IP0276&from=EL
31
32
Comisión Europea. (2020). Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la
excelencia y a la confianza. https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52020DC0065
16
Las definiciones del Reglamento de IA
En 2021, con la publicación del primer borrador del RIA por parte de la Comisión, nace la
primera de las tres definiciones propuestas para el texto final del Reglamento. En 2022, el
Consejo de la UE publica su propuesta de RIA con una definición distinta, y en 2023, el
Parlamento Europeo propone una tercera definición. Las tres opciones difieren
principalmente en el grado de flexibilidad de la definición, y en consecuencia, en el ámbito
de aplicación del RIA, tal como se puede ver en la siguiente tabla.
Artículo 3 (1) Flexibilidad Definición de “Sistemas de IA”
El software que se desarrolla empleando una o varias de las técnicas y

Comisión estrategias que figuran en el anexo I 33 y que puede, para un conjunto
europea Alta determinado de objetivos definidos por seres humanos, generar
(2021) información de salida como contenidos, predicciones, recomendaciones o
decisiones que influyan en los entornos con los que interactúa.
Un sistema basado en máquinas diseñado para funcionar con diversos

Parlamento
niveles de autonomía y capaz, para objetivos explícitos o implícitos, de
europeo Media
generar información de salida —como predicciones, recomendaciones o
(2023)
decisiones— que influya en entornos reales o virtuales.
Un sistema concebido para funcionar con elementos de autonomía que, a

partir de datos e información generados por máquinas o por seres
humanos, infiere la manera de alcanzar una serie de objetivos, utilizando
Consejo de la para ello estrategias de aprendizaje automático o estrategias basadas en la
Baja
UE (2022) lógica y el conocimiento, y produce información de salida generada por el
sistema, como contenidos (sistemas de inteligencia artificial generativa),
predicciones, recomendaciones o decisiones, que influyen en los entornos
con los que interactúa el sistema de IA.
La propuesta de la Comisión es la más amplia de las tres definiciones, ya que no exige

ningún nivel de autonomía, y por tanto, incluso un buscador inteligente dentro de una
página web sería incluido como sistema de IA, ya que se trataría de un “software que se
desarrolla empleando una técnica de estrategia de búsqueda”, estrategia que figura en el
anexo I de la propuesta de la Comisión, junto a las estrategias basadas en aprendizaje
automático (machine learning y deep learning) y las basadas en la lógica y el conocimiento.
33
Las tres estrategias contempladas en el anexo I (provisional) son:
1. Estrategias de aprendizaje automático, incluidos el aprendizaje supervisado, el no supervisado y el
realizado por refuerzo, que emplean una amplia variedad de métodos, entre ellos el aprendizaje
profundo.
2. Estrategias basadas en la lógica y el conocimiento, especialmente la representación del conocimiento, la
programación (lógica) inductiva, las bases de conocimiento, los motores de inferencia y deducción, los
sistemas expertos y de razonamiento (simbólico).
3. Estrategias estadísticas, estimación bayesiana, métodos de búsqueda y optimización.
17
Para muchos expertos y para los Estados Miembros, no tenía sentido que cualquier
programa informático que ejecutara meras órdenes pudiera incluirse dentro del Reglamento
de IA. Por esto, el Consejo de la UE, en su exposición de motivos, defendió que únicamente
se incluyeran como estrategias el aprendizaje automático, la lógica y el conocimiento34,
descartando de la definición de IA los programas basados en mera estadística, probabilidad,
búsquedas u optimización. Además, propuso que la definición completa estuviera en el
artículo y no en los anexos, dado que esto daba demasiado poder a la Comisión para
cambiar los usos sin las debidas garantías. Por último, decidió acotar que los contenidos
elaborados por la IA se trataran de IA generativa únicamente.
Un año más tarde, el Parlamento se posiciona en un punto medio, ya que todo y exigir un
cierto nivel de autonomía35 (como el Consejo de la UE), no define las estrategias que
empleará dicho sistema (como la Comisión). Además, emplea el concepto de “sistema
basado en máquinas”, que podría asimilarse al concepto de software. La elección de esta
definición no es casual, y es que coincide con la propuesta por la OCDE36, cumpliendo así con
uno de los objetivos del Reglamento de armonizar la regulación.
Valoración de las definiciones
Vistas las tres propuestas, y dado que cualquiera de estas, o partes, podrán estar en la
versión final del Reglamento, corresponde evaluar qué opción es más eficiente para el nuevo
escenario regulatorio. ¿Una definición amplia y flexible o una específica?
El principal argumento para los defensores de una definición acotada es evitar la

sobre-regulación del sector tecnológico, y evitar así los costes de implantación innecesarios
y dejar más autonomía para los gobiernos nacionales37. Sin embargo, hay que recordar que
34
El Consejo de la UE define las estrategias basadas en la lógica y el conocimiento como las que tienen por
objeto “el desarrollo de sistemas con capacidad de razonamiento lógico a partir de conocimientos para la
resolución de un problema de aplicación (...). La base de conocimientos, normalmente codificada por expertos
humanos, representa entidades y relaciones lógicas que son pertinentes para el problema de aplicación, usando
para ello formalismos basados en normas, ontologías y gráficos de conocimientos”. Es decir, se trata de
sistemas con procesos lógicos codificados previamente.
35
Autonomía en el sentido que tienen al menos cierto grado de independencia de las acciones de los controles
humanos y ciertas capacidades para operar sin intervención humana.
36
Organización para la Cooperación y el Desarrollo Económicos.
37
Veale, M. & Borgesius, F. (2021). Demystifying the Draft EU Artificial Intelligence Act. Computer Law Review
International, 22(4).
18
el RIA se basa en un enfoque de riesgos, es decir, solo los sistemas que supongan un alto
riesgo deberán cumplir con el grueso de las obligaciones. Por tanto, la única consecuencia
que deriva de una definición más amplia es que más sistemas deberán pre-evaluar si el
sistema supone un riesgo a la sociedad, y en caso que se consideren seguros, no estarán
sujetos a las obligaciones de la normativa.
Además, adoptar una definición específica entraña el riesgo de que las empresas
simplifiquen sus códigos informáticos para no entrar dentro del ámbito de aplicación de la
IA, para luego aplicar dichos códigos simplificados en usos prohibidos o de alto riesgo. Por
ejemplo, el scoring bancario podría conseguirse con simples cálculos probabilísticos o con
simples órdenes, en vez de emplear aprendizaje automático, y si bien no será tan fiable, sí
que esquivaría las obligaciones impuestas por el Reglamento. Además, como bien señalan
Renda y Engler (2023), han habido ejemplos de discriminación usando simples programas
informáticos desde los años 7038. Por último, instar a los operadores económicos a que usen
códigos más sencillos, no iría en favor del desarrollo tecnológico.
Vistas las desventajas que supondría adoptar la definición del Consejo de la UE, para el resto
del trabajo se adoptará la visión más generalista de la IA, que permitirá un estudio más
garantista de la cuestión.
38
Renda, A. & Engler, A. (Febrero 2023). What’s in a name? Getting the definition of Artificial Intelligence right
in the EU’s AI Act. CEPS.
https://www.ceps.eu/wp-content/uploads/2023/02/CEPS-Explainer-2023-02_Definition-of-AI-right-in-the-EUs-
AI-Act.pdf
19
IV. ASPECTOS GENERALES DEL REGLAMENTO DE INTELIGENCIA
ARTIFICIAL
1. PRINCIPIOS Y OBJETIVOS DEL REGLAMENTO
Del preámbulo del texto provisional del RIA se destacan una serie de principios y objetivos
que deberán guiar en todo momento la interpretación de dicho Reglamento y que permite
anticipar la razón de ser de muchos de los preceptos incluidos. Por razones de brevedad, se
han seleccionado los tres principios u objetivos fundamentales.
Seguridad
Como ya se ha adelantado en la introducción, el primer y máximo objetivo del RIA es la

obtención de seguridad física y la protección de los derechos fundamentales a través de la
imposición de obligaciones a los sistemas de alto riesgo. Además, la armonización que
implica un reglamento europeo aporta seguridad jurídica y refuerza la idea del mercado
único.
Esta confianza, además de aportar calidad de vida en la Unión Europea, puede por un lado
fomentar la innovación e inversión en soluciones tecnológicas. Sin embargo, como ya se ha
adelantado en la introducción, un exceso de seguridad puede ser detrimental en este
aspecto, dado que la sobre regulación puede ahuyentar a los operadores del mercado,
incidiendo negativamente en la inversión y castigando principalmente a startups y PYMES.
Si se logra alcanzar el nivel óptimo de seguridad, ello no solo podría llegar a ser beneficioso
para los 450 millones de ciudadanos europeos, sino que el RIA se convertiría en el estándar
mundial en materia de regulación de sistemas de IA39. Este fenómeno, también conocido
como efecto Bruselas, ya se ha observado con el RGPD. La efectividad de esta normativa en
la protección de los derechos fundamentales, junto con la voluntad de las multinacionales
de estandarizar sus procesos, lo han convertido en el referente regulatorio mundial.
39
Engler. A. (8 de junio de 2022). The EU AI Act will have global impact, but a limited Brussels Effect. Brookings.
https://www.brookings.edu/articles/the-eu-ai-act-will-have-global-impact-but-a-limited-brussels-effect/
20
Proporcionalidad
El segundo pilar del RIA es el principio de proporcionalidad. Después de que la Comisión

considerara distintas metodologías40, entre las cuales se encontraba una regulación absoluta
de todos los sistemas de IA o una regulación de etiquetado totalmente voluntaria,
finalmente se optó por una regulación de mínimos. La opción escogida únicamente impone
obligaciones a los sistemas de IA que suponen un alto riesgo en función de su uso. A los
demás sistemas de IA, tan solo les será de obligación cuestiones limitadas en materia de
transparencia y podrán elaborar y adherirse voluntariamente a códigos de conducta. Es
decir, no se regula la tecnología en genérico, sino su finalidad concreta. Este enfoque basado
en riesgos reduce los costes del compliance y evita cargas excesivas, principalmente para
PYMES y startups.
Sin embargo, existen dudas de la cuota de mercado que supondrá la imposición de

obligaciones únicamente a los sistemas de alto riesgo. La Comisión ha estimado que
únicamente afectaría a un 10% de las empresas en el mercado europeo41. Este bajo
porcentaje, además de distar del objetivo de pretender una armonización horizontal en el
mercado42, ha sido discutido empíricamente por un estudio realizado en 2022 por
appliedAI43 en el que se presume que esta regulación afectará entre un 33% y un 50% de las
startups europeas, implicando un impacto mucho mayor al cuantificado por la Comisión.
Innovación
Por último, el tercer pilar del Reglamento es el fomento de la innovación y la participación

de PYMES y startups en el tejido económico, cuestión que se reitera tanto en el
memorándum de explicación como en los considerandos, y que regirá el análisis del
presente trabajo.
40
Referencia a la Evaluación de impacto de la Comisión Europea y al Libro Blanco de la UE, previamente
citados.
41
Renda, A., Arroyo, J., Fanni, R., Laurer, M., Sipiczki, A., Yeung, T., Maridis, G., Fernandes, M., Endrodi, G.,
Milio, S., Devenyi, V., Georgiev, S. & Pierrefeu, G. (2021). Study to support an impact assessment of regulatory
requirements for Artificial Intelligence in Europe. Comisión Europea.
https://op.europa.eu/en/publication-detail/-/publication/55538b70-a638-11eb-9585-01aa75ed71a1
42
Bogucki, A., Engler, A., Perarnaud, C. & Renda, A. (2022). The AI Act and Emerging EU Digital Acquis.
Overlaps, gaps and inconsistencies. CEPS.
https://cdn.ceps.eu/wp-content/uploads/2022/09/CEPS-In-depth-analysis-2022-02_The-AI-Act-and-emerging-
EU-digital-acquis.pdf
43
appliedAI Initiative. (2022). AI Act Impact Survey. Pan-European survey of AI Startups and VCs about the
impact of the AI Act. https://www.appliedai.de/assets/files/AI-Act-Impact-Survey_Slides_Dec12.2022.pdf
21
Siendo consciente el legislador de que la normativa puede imponer una carga excesiva a este
tipo de empresas, el Reglamento propone a lo largo del clausulado distintas propuestas para
su mitigación, incluso previendo un artículo entero destinado únicamente para esta
cuestión. Estas previsiones serán estudiadas a lo largo del trabajo, valorando la efectividad
real de dichas propuestas y las problemáticas que puedan surgir de su aplicación.
Sin embargo, existe una primera problemática de base, y es que el objetivo de promocionar
la innovación carece de un elemento esencial: la definición de lo que es una startup. A
diferencia de las PYMES, para las cuales consta una remisión al anexo de la Recomendación
de la Comisión 2003/361/EC para su definición, el texto no aporta ninguna definición para
«startup».
Esto puede conllevar a una falta de armonización intraeuropea, ya que podrían adoptarse las
definiciones nacionales, como de la Ley 28/2022 de fomento del ecosistema de empresas
emergentes (conocida como Ley Startup), si bien ciertas naciones podrían no disponer de
una definición. Además, la existencia de grandes flujos de capital (conocido como Capital
Riesgo) modifica las líneas de lo que se entiende como startup. Si bien una empresa puede
ser de creación reciente, puede también disponer de mayores cantidades de capital que una
empresa de más de 250 trabajadores. Por ejemplo, OpenAI, la empresa detrás de Chat GPT,
es definida por los medios como una startup44, sin embargo disponen de 300 millones de
dólares en capital inyectado45. Muy probablemente, para OpenAI, los recursos destinados al
compliance con el Reglamento no determinarán su quiebra, sin embargo, podría alegar que
se trata de una startup para poder acceder a las facilidades que se contemplan para este
tipo de empresas.
2. ESTRUCTURA DEL REGLAMENTO
La estructura de la propuesta del Reglamento de Inteligencia Artificial, común para los tres
órganos europeos, es ordenada y obedece al objetivo de regular únicamente lo
44
Hu, K. & Nishant, N. (27 de septiembre de 2023). OpenAI, at boosted valuation, in talks to sell existing shares
to investors, sources say. Reuters.
https://www.reuters.com/technology/openai-seeks-valuation-up-90-bln-sale-existing-shares-wsj-2023-09-26/
45
Singh, J. & Lunden, I. (29 de abril de 2023). OpenAI closes $300M share sale at $27B-29B valuation.
TechCrunch. https://techcrunch.com/2023/04/28/openai-funding-valuation-chatgpt/
22
indispensable. Es por ello, que después de unas disposiciones generales en las que se
definen los términos esenciales y el ámbito de aplicación (Título I), se procede a catalogar las
IAs prohibidas (Título II) y las IAs de alto riesgo (Título III), listando las obligaciones que
deberán cumplir. A continuación, se establecen los deberes de transparencia para
determinados sistemas de IA que no entrañan un riesgo alto (Título IV). El Título V es el
encargado de regular las propuestas en materia de innovación. Los Títulos VI, VII y VIII
regulan la gobernanza y modo de aplicación del Reglamento. El Título IX regula los códigos
de conducta, y los Títulos X, XII y XII establecen disposiciones finales.
El enfoque regulatorio del Reglamento puede resumirse visualmente en la siguiente

pirámide. Es importante remarcar que no existen niveles de riesgo graduales con distintas
obligaciones, sólo hay un tipo de riesgo (el alto) que acarrea las obligaciones principales del
Reglamento. Por encima, se encuentran las finalidades prohibidas, y por debajo los sistemas
de IA con finalidades determinadas, que por su naturaleza, requieren de alguna medida
concreta de transparencia (como el aviso al público de que se trata de un deepfake). Pero el
hecho de requerir de precauciones de transparencia no es incompatible con la clasificación
de sistema de alto riesgo, por ello, no se tratan de niveles graduales de riesgo. Por último, el
resto de sistemas de IA podrán voluntariamente seguir un código de conducta.
23
3. OBJETO Y ÁMBITO DE APLICACIÓN
Definir el objeto y ámbito de aplicación es el punto de partida para entender el alcance de

cualquier normativa. Además, un marco delimitado es la clave para determinar qué costes
totales implicarán la introducción de la normativa en la economía europea, dado que a
mayor ámbito de aplicación, mayor número de sujetos tendrán que invertir recursos
económicos en cumplir con la normativa.
El Título I del RIA se podría dividir principalmente en dos bloques. Por una parte, se define el
ámbito de aplicación territorial, y por otra, se elabora un listado de términos definidos,
como los de los distintos participantes de la cadena de suministro de un sistema de IA y
otros conceptos como «sistema de inteligencia artificial», «datos de entrenamiento» o
«sistema de identificación biométrica», entre muchos otros.
A. Operadores del Reglamento de Inteligencia Artificial
Para entender el ámbito de aplicación territorial del RIA, es necesario entender antes qué
roles prevé el Reglamento en la cadena de valor del suministro un sistema de IA. Ya que, en
función del tipo de operador de que se trate, además de tener distintas obligaciones, tendrá
unas condiciones territoriales distintas.
En este primer estadio, existe un consenso entre los tres órganos europeos sobre qué cinco
operadores hay que regular y cómo se definen, siendo estos: (i) el proveedor, (ii) el
importador, (iii) el distribuidor, (iv) el implementador o usuario y (v) el representante
autorizado.
A continuación, se incluye un infograma que pretende mostrar de manera sucinta la

cronología de estos roles. El esquema divide la cadena de valor de la producción de un
sistema de IA en tres fases diferenciadas: (i) introducción en el mercado, (ii) comercialización
y (iii) puesta en servicio. Los tres términos se encuentran definidos en el RIA,
correspondiendo el primero a la primera comercialización dentro de la UE y el último al
primer uso que se la da dentro de la UE. Interiorizar estas fases diferenciadas permitirá
comprender las diferencias entre los distintos operadores.
24
a) Proveedores
Definición legal
Toda entidad46 que desarrolle un sistema de IA o para el que se haya desarrollado un sistema de IA
para introducirlo en el mercado47 o ponerlo en servicio48 con su propio nombre o marca, ya sea de
manera remunerada o gratuita.
La figura del proveedor es la más importante del Reglamento, y por ende, es la figura
que deberá cumplir con el grueso de las obligaciones propuestas49. Se trata de la
entidad que ha creado el sistema de IA, o ha encargado el sistema, y lógicamente, es
quien conoce cómo funciona, con qué datos se alimenta el algoritmo, qué riesgos
pueden existir, etc.
A diferencia de la figura del importador, el proveedor puede estar establecido en

cualquier región, dentro o fuera de la Unión Europea. Sin embargo, se impone como
46
Entendiendo entidad como persona física o jurídica, autoridad pública, agencia, órgano u organismo de otra
índole.
47
La introducción en el mercado se define como la primera comercialización en el mercado de la Unión de un
sistema de IA.
48
Se define puesta en servicio como el suministro de un sistema de IA para su primer uso directamente al
implementador o para uso propio en la Unión de acuerdo con su finalidad prevista.
49
Edwards, L. (2022). The EU AI Act: a summary of its significance and scope. Ada Lovelace Institute.
https://www.adalovelaceinstitute.org/wp-content/uploads/2022/04/Expert-explainer-The-EU-AI-Act-11-April-2
022.pdf
25
requisito que el sistema se comercialice bajo su nombre, en aras de crear seguridad
jurídica y económica en el mercado, de manera similar a la normativa marcaria.
La gran mayoría de startups y PYMES que generen una nueva tecnología serán
categorizadas como proveedoras, al basar su modelo de negocio en la creación y
distribución de nuevas soluciones tecnológicas. Es por ello que, a partir de ahora, se
asumirá en este estudio que todas las empresas emergentes tienen la condición de
proveedoras, con plena responsabilidad de dar cumplimiento con las obligaciones del
Reglamento. Sin embargo, puede darse una coincidencia en más de un rol, como una
empresa proveedora de un sistema de IA, pero que para crearlo es implementadora
de otro sistema.
b) Importadores
Definición legal
Toda persona física o jurídica establecida en la Unión que introduzca en el mercado o ponga en
servicio un sistema de IA que lleve el nombre o la marca comercial de una persona física o jurídica
establecida fuera de la Unión.
Del propio nombre de esta figura se intuye que se trata de una tarea comercial
internacional, no teniendo ninguna implicación en la creación del sistema. Este
elemento transfronterizo de la importación exige un doble requisito territorial: que el
importador esté establecido en la Unión Europea, y que el sistema lleve el nombre
de una persona física o jurídica establecida fuera de la Unión Europea (es decir, que
el proveedor esté establecido fuera de la UE).
Los importadores, y las figuras descritas a continuación, tendrán un rol secundario en

lo relativo al cumplimiento del RIA, con tareas de supervisión y comprobación del
cumplimiento por parte del proveedor, que quedarán excluidas de este estudio.
26
c) Distribuidores
Definición legal
Toda persona física o jurídica que forme parte de la cadena de suministro, distinta del proveedor o
el importador, que comercializa50 un sistema de IA en el mercado de la Unión.
En este caso, el único requisito de territorialidad es que se comercialice en el

mercado de la Unión, sin embargo, el distribuidor puede estar ubicado en cualquier
lugar.
Por tanto, como se observa en el infograma, la figura del importador y del

distribuidor, en la fase de introducción en el mercado, puede ser muy similar
(introducir un sistema), sin embargo, en función del territorio del que provenga,
tendrá una denominación u otra. Sin embargo, una vez pasada la fase de la primera
comercialización, en las sucesivas comercializaciones no se distingue el
establecimiento del proveedor, simplemente se trata de distribuidores.
d) Implementadores o usuarios51
Definición legal
Toda entidad que utilice un sistema de IA bajo su propia autoridad (excepto si se usa en una
actividad personal no profesional52).
Si bien los implementadores o usuarios usan el sistema, no tienen que ser el destino
final del sistema de IA. Por ejemplo, una empresa que contrata un sistema de IA para
optimizar los procesos en la empresa sería un usuario, sin embargo, el trabajador que
interactúa con ese sistema no está definido por el Reglamento53.
50
Comercialización se define como todo suministro de un sistema de IA para su distribución o utilización en el
mercado de la Unión en el transcurso de una actividad comercial, ya se produzca el suministro de manera
remunerada o gratuita
51
El Parlamento emplea el término implementador, mientras que el Consejo de la UE y la Comisión han
adoptado el término usuario, si bien la definición es idéntica. En arras de claridad se usará el término
implementador en este estudio.
52
Si bien el Consejo de la UE no exceptúa el uso personal en la definición de “implementador/usuario”, sí que
exceptúa dicho uso al definir el ámbito de aplicación de la normativa.
53
Edwards, L. (2022). The EU AI Act: a summary of its significance and scope. Op. cit.
27
Destaca en las definiciones la ausencia de una definición para el «usuario final»,
dado que el objetivo del Reglamento es el de otorgar seguridad a este individuo
persona física, y sin embargo, solo en la versión del Parlamento se reconocen las
acciones de las que disponen en un único artículo54. Esta es quizás la principal
diferencia con el enfoque del RGPD, en el que el usuario de los datos es el
protagonista del Reglamento.
e) Representante autorizado
Definición legal
Toda persona física o jurídica con presencia física o establecida en la Unión que haya recibido el
mandato por escrito de un proveedor para cumplir con las obligaciones y procedimientos del RIA
en su representación.
La última figura prevista por el RIA es la del representante autorizado, que conllevará
automáticamente la generación de negocio en la Unión Europea en lo relativo a la
prestación de servicios de asesoramiento tecnológico y jurídico. Puede augurarse
que muchos despachos de abogados y consultorías ya existentes tomen las riendas
en la prestación de este asesoramiento. Más aún cuando el Reglamento obliga a los
proveedores establecidos fuera de la Unión a identificar a un representante en
ausencia de un importador. Si bien también podrán surgir nuevos modelos de
negocio especializados, tal como sucedió con las gestorías de Delegados de
Protección de Datos o DPOs, por sus siglas en inglés.
f) Cláusula de cierre en caso de modificación
El Reglamento establece como cláusula de cierre que cualquier distribuidor,

importador e implementador será considerado proveedor en los casos que de facto
actúen como tal. Estos casos pueden resumirse en dos situaciones: la primera, si estos
operadores introducen en el mercado el sistema de IA de alto riesgo bajo su propio
54
Edwards, L. (2022). Regulating AI in Europe: four problems and four solutions. Ada Lovelace Institute.
https://www.adalovelaceinstitute.org/wp-content/uploads/2022/03/Expert-opinion-Lilian-Edwards-Regulating
-AI-in-Europe.pdf
28
nombre y no el del proveedor, y el segundo caso, si modifican la finalidad del sistema
de alto riesgo o realizan cualquier otra modificación sustancial.
Si bien esta cláusula pretende reconocer la capacidad de cambio constante de los

sistemas de IA mediante su reentrenamiento, hay que ser conscientes que el ciclo de
vida real de un sistema de IA no es tan esquemático como lo plantea el Reglamento y
existirán problemas para cumplir con las obligaciones55.
Por ejemplo, como se verá más adelante, el Reglamento establece obligaciones sobre
los datos de entrenamiento al proveedor de un sistema de alto riesgo. Sin embargo, si
un implementador modifica sustancialmente el sistema y en virtud de la cláusula de
cierre deviene el responsable de cumplir con las obligaciones del Reglamento, no
habrá tenido acceso a la base de datos que se usó para entrenar el sistema, y no podrá
acreditar el cumplimiento de las obligaciones.
Además, esta cláusula de cierre podría incitar a la siguiente práctica: los grandes
operadores venderían sistemas con un uso aparentemente neutral en lo que al riesgo
se refiere (por ejemplo, tests de personalidad), que luego, en función del uso que le
den los implementadores podría ser transformados en sistemas de alto riesgo (por
ejemplo, si los tests son utilizados por empleadores, escuelas o autoridades públicas).
Esto tendría como consecuencia que las grandes plataformas proveedoras de sistemas
de IA deleguen todas las obligaciones de cumplimiento a posteriores implementadores
en detrimento de startups y PYMES, ya que en la situación de origen aparentemente
no existe ningún riesgo, y por tanto, ninguna obligación.
Como se puede ver, los sistemas de IA son dinámicos, pudiendo incorporar a lo largo
de su ciclo de vida distintas bases de datos, prever nuevos usos y cambiar el nivel de
riesgo. Por todo esto, sería necesario establecer un sistema de comunicación
inmediata entre todos los implicados en la cadena de valor un sistema de IA, para
poder salvaguardar el cumplimiento de las obligaciones.
55
Bogucki, A., Engler, A., Perarnaud, C. & Renda, A. (2022). Op. cit.
29
B. Ámbito territorial
El artículo 2 del Reglamento limita el ámbito de aplicación territorial de la normativa en

función del tipo de operador del que se trate. En el Anexo I se muestra una tabla que
organiza los criterios establecidos por las distintas versiones del Reglamento, distinguiendo
entre operadores y su lugar de establecimiento.
En aras de la brevedad, y dado que el ámbito territorial no constituye objeto nuclear de este
estudio, este apartado únicamente analizará el criterio territorial que se impone a los
proveedores, para poder así comprender el alcance territorial de este Reglamento para las
empresas.
Los tres órganos europeos coinciden en que independientemente del lugar de

establecimiento del proveedor, si el sistema se introduce en la UE, o si la información de
salida tiene consecuencias dentro de la UE (aunque el sistema no se haya introducido en la
Unión), aplicará el Reglamento. Por tanto, hay una vocación extraterritorial, y un interés para
proveedores establecidos fuera de la UE.
Esta última coletilla evita que se exporten datos de ciudadanos de la UE a terceros países
para que luego sean tratados por un sistema de IA externo a la regulación europea, y que la
información de salida regrese al territorio europeo. Sin embargo, también supone un foco de
responsabilidad difícilmente controlable para las empresas proveedoras de sistemas de IA. El
proveedor conoce en qué territorios introduce el sistema, sin embargo, no puede controlar
que los implementadores usen la información de salida únicamente en el territorio
designado. Esto implicará que las empresas proveedoras de sistemas de IA que no prevean
que sus sistemas se introduzcan en la UE tengan que imponer cláusulas de indemnidad
adicionales en lo relativo al destino de la información por parte de los implementadores de
los sistemas de IA.
El Parlamento va un paso más allá, y añade dos supuestos más que vinculan a los
proveedores. El primero, es que si las normas de Derecho Internacional Público consideran
que debe aplicarse el Derecho europeo, aunque no se cumplan con estas condiciones
territoriales, también será de aplicación el Reglamento (artículo 2.1.c) de la propuesta del
Parlamento). Este supuesto alberga un pozo de inseguridad jurídica, al tener los proveedores
30
no solo que atender al ámbito de aplicación reglado del Reglamento, sino también a la
normativa y jurisprudencia en materia de Derecho Internacional Público. Además, esto
puede conducir a desigualdades entre operadores y fomentar el forum shopping. Por
ejemplo, podría surgir la situación en la que dos proveedores estén establecidos en dos
países distintos, contando uno de los países con un convenio internacional con la UE que
implicara la aplicación de Derecho europeo y el otro país no. Por tanto para un mismo
sistema, podría darse el escenario en que uno de los operadores tenga que cumplir con las
obligaciones del Reglamento, y el otro no, cuestión que nada tendría que ver con el uso
efectivo de ese sistema.
En segundo lugar, el Parlamento no permite que proveedores establecidos en la Unión

exporten sistemas prohibidos por el Reglamento fuera de la UE (artículo 2.1.c) bis de la
propuesta del Parlamento). Si bien el texto final puede no contemplar esta limitación, esta
última obligación tendrá como consecuencia el exilio de territorio europeo de cualquier
empresa que desarrollara alguno de los usos prohibidos del Reglamento con el fin de
exportarla a terceros países.
C. Exclusiones del ámbito de aplicación
a) Fines científicos
Si bien en la primera versión del Reglamento no se ha previsto, el Consejo y el Parlamento

han decidido excluir del ámbito de aplicación del Reglamento los sistemas desarrollados y
utilizados específicamente con fines de investigación científica. Estos sistemas seguirían
sometidos al respeto a los derechos fundamentales y cualquier otra legislación aplicable
(laboral, propiedad intelectual, etc.).
Sin embargo, el mandato impuesto por la Ley 17/2022 de la Ciencia, la Tecnología y la

Innovación56 de transferir la tecnología desarrollada por universidades públicas a las
empresas del sector privado, puede poner esta exclusión en riesgo. Muchos proyectos
56
Cortes Generales de España. (5 de septiembre de 2022). Ley 17/2022, de 5 de septiembre, por la que se
modifica la Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnología y la Innovación.
https://www.boe.es/eli/es/l/2022/09/05/17/con
31
innovadores de universidades ya parten del objetivo de luego ser explotados por una
empresa privada spin-off, si bien el inicio de estos proyectos es puramente de investigación.
En consecuencia, de haber la previsión de que un proyecto investigativo se transfiera a una
empresa spin-off, si bien la finalidad inicial es puramente investigativa, podría argumentarse
su no adecuación a la excepción.
b) Creación de código abierto (únicamente prevista por el Parlamento)
Actualmente, la mayoría de startups y PYMES basan el desarrollo de sus programas

informáticos (webs, sistemas de IA, aplicaciones móviles, etc.) en código abierto u open
source. Estos códigos están licenciados de manera que se puedan utilizar, modificar y
distribuir de manera gratuita, fomentando por tanto la innovación a bajo coste.
El Parlamento, para impulsar el desarrollo de la IA, especialmente entre PYMES y startups,

exceptúa de la aplicación del Reglamento a la creación de programas de IA que se pongan a
disposición del público mediante licencias open source. Claro está, que dicha entrega al
público no podrá tratarse de una comercialización ni podrá ser parte de un sistema de IA
prohibido, ni de alto riesgo, ni con riesgo de falta de transparencia (previstos en el título IV y
definidos más adelante), ni un modelo fundacional (definidos a continuación).
Sin embargo, Seger et al. (2023)57 consideran que pueden haber más riesgos que beneficios
en introducir sistemas de IA con altas capacidades o de uso general en el circuito open
source. Esto podría llevar a que se haga un uso fraudulento ya que no pueden controlarse los
usos perversos por parte del proveedor. Y si bien es cierto que hay beneficios, estos se
podrían conseguir con otro tipo de licencias más controladas, como el acceso restringido al
código únicamente a desarrolladores e investigadores. Sin embargo, excluirlos de la
regulación no parece una solución adecuada.
57
Seger, E., Dreksler, N., Moulange, R., Dardaman, E., Schuett, J., Wei, K., Winter, C., Arnold, M., Ó hÉigeartaigh,
S., Korinek, A., Anderljung, M., Bucknall, B., Chan, A., Sta!ord, E., Koessler, L., Ovadya, A., Garfinkel, B.,
Bluemke, E., Aird, M., Levermore, P., Hazell, J. & Gupta, A. (2023). Open-Sourcing Highly Capable Foundation
Models: An Evaluation of Risks, Benefits, and Alternative Methods for Pursuing Open-Source Objectives. Centre
for the Governance of AI.
https://cdn.governance.ai/Open-Sourcing_Highly_Capable_Foundation_Models_2023_GovAI.pdf
32
c) Otras exclusiones: fines militares, cooperación internacional, uso personal y ciertos
productos
El resto de exclusiones del ámbito de aplicación del RIA son (i) sistemas con una finalidad
militar, (ii) los usados por las autoridades públicas en el marco de la cooperación
internacional y (iii) el uso personal de los sistemas de IA, es decir, los ciudadanos que utilicen
los sistemas para una actividad puramente personal no tendrán ninguna obligación impuesta
(por eso no se les considera uno de los operadores definidos previamente).
Además, también se excluyen de manera general58 ciertos productos que ya disponen de

una regulación armonizada en la Unión Europea, listados en la sección B del Anexo II del
Reglamento de IA. Entre estos se encuentran los productos relativos a la aviación civil, a
vehículos de motor, a equipos marinos y al sistema ferroviario. La finalidad de la exclusión es
evitar fricciones con la normativa sectorial que regula estos sistemas. Sin embargo, estarán
vinculados indirectamente por el Reglamento mediante las disposiciones finales del
Reglamento (artículos 75 a 82 RIA), donde se establece que todas las normativas sectoriales
tendrán en cuenta los requisitos establecidos en el RIA para los sistemas de IA de riesgo alto
a través de actos delegados de la Comisión, que si bien no son actos legislativos,
complementan los aspectos no esenciales de una normativa de manera vinculante.
D. Biometría
Como se ha adelantado en la introducción de este capítulo, el Reglamento define ciertos

términos que pueden prestar a confusión en el Reglamento. En concreto, se define una
familia de conceptos relacionados con el uso de la biometría en el ámbito de la IA. Es por
ello que, para lograr un mayor entendimiento de los usos prohibidos de la IA y de los
sistemas de IA que se consideran de alto riesgo para el Reglamento, las definiciones
relacionadas con la biometría del artículo 3 merecen una mención especial.
Primero, se definen los «datos biométricos» como los datos personales obtenidos a partir de
un tratamiento técnico específico sobre características físicas, fisiológicas o conductuales
58
Únicamente les será de aplicación explícitamente el artículo 84 RIA, de carácter más bien accesorio y
revisorio.
33
que permiten la identificación única de una persona. Ejemplos de datos biométricos son
imágenes faciales, grabaciones del modo de andar o movimientos, huellas dactilares,
frecuencia cardíaca, voz, olor, pulsaciones de tecla, reacciones psicológicas (ira, angustia,
dolor, etc.). Todos estos ejemplos, en mayor o menor medida, pueden identificarse con una
única persona.
Definida la materia prima, el Reglamento define varios productos en que la IA puede

transformarla, entre los que se encuentran los siguientes:
a. Sistemas de reconocimiento de emociones: Se trata de sistemas de IA que detectan

emociones59 o las intenciones de personas físicas a partir de sus datos biométricos.
b. Categorización biométrica: A partir de datos biométricos, se asignan personas a

categorías o se infieren otras características o atributos. Por ejemplo, un sistema de IA
que a partir de la intensidad en que se pulse una tecla infiera el sexo de la persona
estaría empleando categorización biométrica.
c. Identificación biométrica a distancia o remota: Se trata de la recolección automatizada

de dichos datos biométricos para establecer la identidad de una persona comparando
dichos datos con otros datos biométricos de personas almacenados en una base de
datos a distancia, y sin que el implementador del sistema de IA sepa de antemano si la
persona en cuestión se encontrará en dicha base de datos y podrá ser identificada
(también llamado comparación «uno respecto a muchos»). Los textos prevén dos tipos
de identificación a distancia:
a) En tiempo real: En este caso, la recogida de los datos biométricos, la comparación y

la identificación se producen sin una demora significativa. Es más invasivo, debido a
la sensación de estar bajo vigilancia constante y puede llegar a disuadir a los
ciudadanos de ejercer su libertad de reunión. Además, destaca por su inmediatez en
las consecuencias y escasas oportunidades para realizar comprobaciones. Es por ello,
que se considera un sistema de IA prohibido, tal como se expondrá en el próximo
apartado.
b) En diferido: En esta clasificación se encuentra el resto de casos.
59
El Parlamento incluye en las emociones también los pensamientos y los estados de ánimo.
34
El Parlamento y el Consejo excluyen explícitamente de las definiciones los sistemas de
verificación biométrica que se limitan a comparar los datos biométricos de una persona con
sus datos biométricos facilitados previamente («uno respecto a uno»), utilizado usualmente
para acceder a un servicio o local. Sin embargo, la Comisión, al incluir en la definición
también la coletilla de que el implementador desconoce si los datos podrán ser
efectivamente comparados, también se entiende que excluye la verificación, ya que para
verificar previamente se necesita el dato de dicha supuesta persona (si bien puede dar error,
pero no se comparará con muchos elementos).
E. Sistemas de uso general y modelos fundacionales
La irrupción de sistemas de uso general como Chat GPT o Bard ha puesto entre las cuerdas el
proyecto de Reglamento de Inteligencia Artificial. Como ya se ha adelantado en el estudio de
los objetivos del RIA, este tiene un enfoque basado en riesgos, asumiendo que cada sistema
de IA tiene una finalidad concreta. Sin embargo, los sistemas de uso general mencionados (o
modelos fundacionales, según la definición), pueden tener infinitas posibilidades de
aplicaciones y finalidades60.
Es por ello, que si bien la primera versión de la Comisión no hacía alusión a este tipo de
sistemas, las versiones del Consejo y del Parlamento proponen una regulación especial para
estos disruptivos sistemas de IA, si bien el Parlamento los llama modelos fundacionales,
todo y que estos son un subtipo de sistemas de uso general entrenados con una inmensidad
de datos.
No son considerados sistemas de alto riesgo, ya que esto solo puede darse en una de las
finalidades concretas, pero sí que se prevén requisitos adicionales antes de ser introducidos
en el mercado para permitir un control sobre los usos que se le da. Se exige una mayor
cooperación además entre los operadores, de información y asistencia para mitigar los
riesgos, también conocido como “know-your-customer checks”61, para controlar las
60
61
Brakel, M. & Uuk, R. (2023). FLI Position Paper: AI Act Trilogue. Future of Life Institute.
https://futureoflife.org/wp-content/uploads/2023/07/FLI_AI_Act_Trilogues-1.pdf
35
finalidades de la IA durante toda su vida y que sean controladas por el proveedor, que es
quien dispone del mayor volumen de información acerca del desarrollo del sistema.
En este trabajo no se valorarán las implicaciones de estos sistemas, dado que por la escasa
regulación y los cambios recientes en el sector no es prudente sacar conclusiones del texto
final, más con la falta de consenso en lo relativo a la terminología62. Además, muchos de
estos modelos están desarrollados por grandes empresas con accesos a bases de datos
voluminosos, y por tanto con gran capacidad económica, alejándose estas empresas de la
definición tradicional de startup63, y por tanto del objetivo de este estudio.
F. Gobernanza
Por último, es conveniente hacer una breve mención de la estructura de gobernanza que
prevé el Reglamento, ya que van a ser mencionados a lo largo del trabajo. Se establecen dos
órganos de control: las autoridades nacionales supervisoras (España tendrá la sede en A
Coruña de la Agencia Española de Inteligencia Artificial, AESIA64) y el Comité Europeo de
Inteligencia Artificial (u Oficina de IA, según la terminología del Parlamento), con sede en
Bruselas.
Las autoridades nacionales supervisoras serán las encargadas de vigilar la aplicación y

ejecución del RIA. En cambio, el Comité apoyará a las autoridades nacionales y a la
Comisión, llevará un seguimiento de la aplicación del Reglamento, coordinará a las
autoridades nacionales, etc. Sin embargo, no se considera el Comité como un super
regulador, ya que tiene un poder más bien residual65. La consecuencia directa de esto, serán
aplicaciones del Reglamento distintas en función del territorio66, alejando el RIA de la
finalidad armonizadora.
62
Brakel, M. & Uuk, R. (2023). Op. cit.
63
Edwards, L. (2022). Regulating AI in Europe: four problems and four solutions. Op. cit.
64
Ya dispone de un estatuto aprobado mediante el Real Decreto 729/2023, de 22 de agosto, por el que se
aprueba el Estatuto de la Agencia Española de Supervisión de Inteligencia Artificial.
65
66
Meltzer, J. & Tielemans, A. (2022). The European Union AI Act. Next steps and issues for building international
cooperation. Brookings.
https://www.brookings.edu/wp-content/uploads/2022/05/FCAI-Policy-Brief_Final_060122.pdf
36
Además, como se mencionará a lo largo del trabajo, las autoridades nacionales podrán
imponer multas de hasta 40 millones de euros o hasta el 7% de la facturación anual mundial.
Sin embargo, solo el Consejo ha previsto una excepción para startups y PYMES que limita la
cuantía máxima de dichas multas a la mitad.
37
V. GROWTH: CASO DE ESTUDIO
El presente estudio no se limita a analizar las previsiones del Reglamento en un marco

teórico, sino que también tiene como objetivo documentar la visión realista que tienen las
empresas emergentes de la futura regulación en materia de IA. Por ello, a lo largo de los
siguientes apartados, se irá introduciendo el testimonio de una startup real que permite
conocer de primera mano las opiniones, preocupaciones, costes y oportunidades del nuevo
Reglamento.
Si bien cualquier empresa que produzca, importe, o use IA de alto riesgo dentro del
territorio europeo estará sujeta al Reglamento, la figura principal del texto legislativo es el
proveedor. Es por ello que, en interés de obtener el reflejo más fiel de las implicaciones del
Reglamento, se ha ejemplificado cada requisito del cuerpo normativo con Growth, una
startup española que actuará como proveedora de un sistema de IA cuando entré en vigor el
Reglamento de IA.
¿Qué es Growth?
Growth es una plataforma online que utiliza algoritmos de aprendizaje automático para
comprender y traducir la información contenida en formularios completados por estudiantes
o, en un futuro, empleados. Con las respuestas obtenidas, el sistema puede realizar perfiles
psicológicos e identificar patrones, tendencias y puntos fuertes en la trayectoria educativa
de un estudiante o en las capacidades laborales de un trabajador. Con esta información en
mano, el equipo de psicólogos de Growth, pueden ofrecer orientación personalizada sobre
cómo aprovechar sus fortalezas y superar sus debilidades.
Los estudiantes reciben un análisis en profundidad de su desempeño pasado y presente, así

como recomendaciones para futuros cursos y actividades extracurriculares que se adapten a
sus intereses y habilidades. Esto no solo les ayuda a obtener mejores resultados académicos,
sino que también les permite comprenderse mejor a sí mismos y tomar decisiones más
informadas sobre su futuro.
Por otro lado, Growth permitirá evaluar a empleados actuales o candidatos potenciales. Al
analizar su personalidad, el sistema de Growth puede ofrecer recomendaciones para la
asignación de tareas, capacitación y desarrollo profesional. Esto, además de agilizar los
38
procesos de contratación y gestión del talento, también ayuda a las organizaciones a
maximizar el potencial de sus empleados y a crear equipos más equilibrados y eficientes.
Actualmente, la plataforma ya está siendo usada en distintas escuelas de España y por

universidades que quieren captar alumnos, y se está estudiando la posibilidad de que dicha
plataforma se utilice también en el ámbito laboral. Por último, la tecnología de Growth
también se ha aplicado a otros ámbitos, como el ticketing, en el que mediante el análisis
psicológico del comprador, se pueden ofertar servicios personalizados el día del evento.
Todas estas virtudes del negocio de Growth, pueden conllevar ciertos riesgos, tal como ya
apunta el Reglamento. El campo de la educación y del mundo laboral son ámbitos en los que
los derechos fundamentales de los ciudadanos cobran especial importancia. Es por ello que,
los sistemas de IA que influyan en estos aspectos podrán considerarse de alto riesgo por el
Reglamento, y por tanto, la experiencia de Growth cobra especial importancia en este
estudio.
Gracias al testimonio de Growth, cada apartado cuenta con un input práctico de las
consecuencias que implicará el Reglamento para esta empresa. Y si bien esta es la
experiencia de una startup concreta, muchas observaciones podrán generalizarse al resto de
empresas emergentes.
Fig. 2: Ejemplo de la plataforma online de Growth67
67
Imagen obtenida de:
https://www.growthroadgroup.com/_files/ugd/fa17ad_1a9dc26c47684215bd43a20a9abe1218.pdf
39
VI. PRÁCTICAS DE IA PROHIBIDAS
Tal como se ha adelantado, el Reglamento sigue un risk-based approach, si bien

técnicamente solo hay un nivel de riesgo como tal, el alto. Por encima de los sistemas de alto
riesgo se encontrarían los sistemas prohibidos, que acarrean implícitamente un riesgo
inaceptable después del debido ejercicio de ponderación, que ha catalogado estas prácticas
como incompatibles con la salvaguarda de los derechos fundamentales reconocidos en la
Carta de Derechos Fundamentales de la Unión Europea68.
Sin embargo, los operadores deben tener en cuenta que esta lista no es absoluta. Existen
muchos otros motivos por los cuales podría estar prohibida una práctica, como por ser
contraria a la regulación en materia de protección de datos, por ser discriminatoria en un
sentido general, por ir en contra de la protección del consumidor o por ser contraria a la
libre competencia de mercado. El RIA será uno de los muchos otros textos legales que
regulan los negocios digitales, y debe aplicarse en conjunción con el resto de regulación.
Las multas de mayor cuantía se prevén para el incumplimiento de la obligación de no operar

con sistemas de IA prohibidos. Para la Comisión y el Consejo se establecen en un máximo de
la mayor cuantía entre 30.000.000 euros o el 6% del volumen de negocio total anual (en
adelante, “VNTA”). Si bien el Consejo establece que en caso de PYMES y startups, dicho
porcentaje se reduciría al 3%. En cambio, el Parlamento no sólo no contempla dicha
excepción para startups, sino que aumenta la cuantía a 40.000.000 euros o el 7% del VNTA.
En relación al listado de prácticas prohibidas, si bien el texto legal lo presenta como un

listado conjunto, dichas prácticas podrían clasificarse en dos grupos distintos, en función de
si se basan en la personalidad o en atributos físicos o biométricos de la persona. Para cada
práctica prohibida, se han incluido casos reales de startups para ejemplificar la prohibición y
valorar si la entrada en vigor del Reglamento afectaría a la continuidad de dichas empresas
en Europa.
68
Parlamento Europeo, el Consejo Europeo y la Comisión Europea. (7 de diciembre del 2000). Carta de los
Derechos Fundamentales de la Unión Europea.
40
a. Prácticas prohibidas basadas en la personalidad
1. Uso de técnicas subliminales, manipuladoras o engañosas para alterar

sustancialmente el comportamiento provocando perjuicios
El uso de técnicas subliminales, manipuladores o engañosas mediante el uso de

sistemas de IA estará prohibido siempre y cuando implique un perjuicio y una alteración
sustancial del comportamiento, tratándose de un concepto indeterminado que
requerirá de desarrollo. Estas técnicas se conocen comúnmente como dark patterns69.
En algunos casos es muy claro cuando una manipulación es perjudicial para el individuo,
pero en el ámbito de la mercadotecnia, la línea entre lo positivo y lo negativo para el
consumidor es muy difusa. Por ejemplo, si un consumidor es manipulado para que
adquiera un producto que le genera un mayor nivel de utilidad, pero cuesta el doble,
¿podría considerarse un perjuicio?
Mientras que la Comisión y el Consejo consideran únicamente los prejuicios físicos o

psicológicos, el Parlamento ha añadido que se debe tratar de un perjuicio significativo,
estableciendo un umbral de protección necesario, si bien requiere de guías
interpretativas70. De no establecer un límite, el marketing podría desaparecer del
universo de la inteligencia artificial en Europa. Además, también es cuestionable si la
manipulación de consumidores conlleva una intención por parte de los operadores de
causar un perjuicio71.
EleutherAI
A principios de 2023, el Diario belga La Libre72 difundió la noticia de un chatbot

llamado Eliza de la empresa EleutherAI73, que presuntamente, habría llevado al
69
Solove, D. (2021). Dark Patterns Reading List and Resources. Teach Privacy.
https://teachprivacy.com/dark-patterns-reading-list-and-resources/
70
71
72
Lovens, P. (28 de marzo de 2023). “Sans ces conversations avec le chatbot Eliza, mon mari serait toujours là”.
La Libre.
https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari-s
erait-toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/
73
Página web: https://www.eleuther.ai/
41
suicidio de un hombre. Este, que sufría de ecoansiedad74, mantuvo conversaciones
con el chatbot durante 6 semanas. En una de esas conversaciones, el hombre propuso
suicidarse si Eliza salvaba el mundo. El sistema del chatbot no debía de disponer de un
sistema de seguridad adecuado, ya que esa propuesta no hizo saltar ninguna alarma.
Este es el claro ejemplo de una práctica prohibida. Si bien en este caso, el perjuicio ha
venido dado por una falta de controles y entrenamiento efectivo del sistema, que
conllevaría un supuesto de responsabilidad indirecta.
Growth
Prueba de la necesidad del RIA es el hecho de que potenciales clientes de Growth han
solicitado en algún momento el uso de técnicas subliminales para manipular a
estudiantes en la dirección educativa que era de interés para el centro educativo
concreto, sin tener en cuenta únicamente las aptitudes o preferencias iniciales de
esos estudiantes, y por tanto, generando un perjuicio en el futuro académico de esos
jóvenes.
Growth, sin tener la obligación de ello, denegó dichas solicitudes, sin embargo, esta
petición muestra dos focos de riesgo: (i) de no ser por el RIA, los sistemas de IA se
seguirán usando con fines manipulativos, ya que existe una demanda perversa de
estos usos, y (ii) los proveedores de sistemas de IA deberán tener en cuenta los uso
indebidos que razonablemente pueda esperarse por parte de los clientes, debiéndose
instaurar medidas concretar en el Sistema de Gestión de Riesgos o SGR, el cual se
definirá en un apartado posterior.
Dada esta posibilidad, todos los trabajadores que mantengan relaciones comerciales
bajo la dirección de Growth, o cualquier empresa proveedora de un sistema de alto
riesgo, deberán estar actualizados en las materias prohibidas por el RIA, cuestión que
74
Estado de ansiedad causado por el temor al cambio climático.
42
ya se contempla como requisito en el Reglamento en materia de alfabetización de los
empleados de la organización proveedora.
2. Aprovechamiento de vulnerabilidades de un grupo para alterar sustancialmente su

comportamiento provocando perjuicios
Es un caso muy similar al anterior, sin embargo, en vez de un elemento de

subliminalidad, exige la identificación de un perfil para explotar sus vulnerabilidades. La
Comisión limita dichas vulnerabilidades a grupos de edad y discapacidad, mientras que
el Parlamento y el Consejo añaden la situación social o económica.
Sin embargo, el Parlamento también añade el aprovechamiento de la personalidad,

cuestión que resulta confusa, al no existir grupos de personalidad objetivamente
diferenciables.
3. Social scoring en el sentido de clasificar a las personas atendiendo a su conducta,

características o personalidad, provocando un trato desfavorable, o bien en contextos
no relacionados con los contextos donde se recabaron los datos, o bien de manera
injustificada o desproporcionada
En este caso, se establece un requisito alternativo entre recibir un trato desfavorable o

que se aplique de manera descontextualizada o desproporcionada. Sin embargo, la
propia naturaleza de un ranking implica un trato favorable a las posiciones superiores,
en contraprestación a un trato desfavorable a las posiciones inferiores. Es por ello que la
Comisión ha optado por una posición más laxa y únicamente prohíbe esta práctica si es
llevada a cabo por autoridades públicas o en representación de estas.
Además, el criterio de desproporción o descontextualización requerirá de un mayor

nivel de concreción por parte de los legisladores y las autoridades en materia de IA,
dado que genera inseguridad jurídica para los creadores de sistemas de social scoring.
43
Por último, el Parlamento también prohíbe que se evalúe o prediga el riesgo de que
personas cometan delitos o infracciones o que reincidan en su comisión, evaluando su
personalidad y características, como ubicación o antecedentes.
ReliablyME
ReliablyME es una startup canadiense que asigna un crédito social a cada individuo en
función de sus acciones en sociedad. Luego, este crédito puede ser usado para
servicios sanitarios, educativos, de empleo, etc. Tener un buen crédito social permitirá
a los individuos acceder a dichos servicios, pero en caso de no disponer de suficiente
crédito, les podrá denegar el acceso. Por tanto, en el caso que RealiablyME usara
sistemas de IA para prestar servicios en Europa, deberá estudiar la manera de
garantizar que no se otorgue un trato desfavorecedor a grupos con crédito social bajo.
Además, deberá documentar y justificar la relación entre los contextos en los que se
recogen los datos y entre los contextos en los que se aplica el crédito social.
b. Biometría
1. Uso de sistemas de identificación biométrica remota «en tiempo real»
Partiendo de los términos que se han definido en la sección sobre biometría, existe una
gran discrepancia entre la regulación por parte de las instituciones europeas. El
Parlamento ha optado por adoptar una posición más conservadora que prohíbe
automáticamente todos los sistemas de identificación biométrica en tiempo real, sin
excepción alguna ni matiz. Además, también prohíbe el análisis de vídeos grabados en
espacios públicos que empleen sistemas de identificación biométrica remota en diferido
(salvo que estén sujetos a una autorización judicial previa y respondan a uno de los
objetivos previstos en el Reglamento).
En cambio, la Comisión y el Consejo prohíben únicamente la identificación biométrica

en tiempo real en espacios de acceso público con fines de aplicación de la ley,
reservando el resto de casos como de alto riesgo. Sin embargo, podrá exceptuarse dicha
prohibición si se obtiene una autorización judicial.
44
Por tanto, de no adoptarse la versión del Parlamento, las empresas podrán hacer uso de
cualquier sistema de identificación biométrica en remoto siempre que no tengan como
finalidad la aplicación de la ley. Por ejemplo, podrán hacer seguimiento de personas
para identificar patrones comerciales o podrán catalogar las personas que entren en un
espacio público para identificar tendencias.
Además, el recital noveno del Reglamento establece que los espacios online no son
considerados espacios públicos, por tanto, sí que se permitiría la identificación
biométrica en tiempo real en la red, por ejemplo, en el metaverso.
2. Otras prácticas prohibidas relativas a la biometría únicamente previstas por el

Parlamento
Las siguientes prácticas sólo están prohibidas por el Parlamento. En cambio, el Consejo y
la Comisión ni siquiera las clasifican de alto riesgo de manera explícita, y por tanto, tal
como se explicará más adelante, para que se consideren de alto riesgo deberían ser
sistemas usados en escuelas, centros de trabajo o en polígrafos por las autoridades,
entre otros.
a. Categorización biométrica que clasifique a personas en función de atributos o

características sensibles
El Parlamento define la categorización biométrica como la “asignación de personas

físicas a categorías concretas, o inferencia de sus características y atributos, en
función de sus datos biométricos”. Por tanto, quedaría prohibido un sistema que,
dependiendo de la manera en la que andes, clasificara a las personas como votantes
de un partido concreto.
b. Crear o ampliar bases de datos de reconocimiento facial mediante la extracción no

selectiva de imágenes faciales a partir de internet o de imágenes de circuito
cerrado de televisión
El Parlamento considera que el escaneo indiscriminado de datos biométricos

publicados en internet (redes sociales, vídeos en plataformas de streaming, etc.)
45
puede generar un sentimiento de vigilancia constante y puede suponer una
intromisión en el derecho fundamental a la intimidad.
Irvinei Doorbell
Irvinei Doorbell75 es una startup que pretende vincular las cuentas en redes
sociales de sus usuarios para poder extraer todas las imágenes de gente
relacionada con estas personas. La recopilación de todos los perfiles permitirá
determinar si se permite la entrada o no a dichos conocidos identificados en casa
del usuario.
Podría discutirse si este caso se trata de una extracción selectiva o no, al estar
limitada a un único perfil, sin embargo, se extraen todos los rostros de todas las
imágenes vinculadas al perfil.
c. Inferir las emociones de una persona en los ámbitos de (i) la aplicación de la ley y la
gestión de fronteras, (ii) en lugares de trabajo y (iii) en centros educativos.
Si bien esta prohibición está prevista únicamente por el Parlamento, de aprobarse,

tendrá un fuerte impacto en el sector tecnológico de los recursos humanos y
educativos.
El Parlamento define el reconocimiento de emociones como “un sistema de IA

destinado a detectar o deducir las emociones, los pensamientos, los estados de
ánimo o las intenciones de individuos o grupos a partir de sus datos biométricos”. Por
tanto, es relevante que dichas emociones o pensamientos deben inferirse de un dato
biométrico, que como ya se ha definido anteriormente, requiere que sea obtenido
por un tratamiento técnico específico y debe poder vincularse a una única persona.
Por tanto, la inferencia de emociones obtenidos de simples respuestas escritas, no se
tratara de una práctica prohibida, al no tratarse dichas respuestas en formato texto
de datos biométricos.
75
Página web: https://irvinei.com/
46
Hume.ai y Lightbulb
Hume.ai76 es una compañía que infiere emociones a partir de mensajes en

distintos soportes (texto o voz) para poder luego hacer sistemas de IA más
empáticos. Por tanto, al no tratarse de ninguno de los ámbitos prohibidos por el
Parlamento (fronteras, empleo o educación), podría operar en la UE sin ningún
inconveniente.
En cambio, Lightbulb77, una startup que pretende incrementar el engagement de

participantes en videoconferencias laborales y educativas mediante la lectura de
datos biométricos (movimiento de pupilas, bostezos, etc.), no podrá ser
introducida en la UE.
Growth
Una oportunidad empresarial que podría diferenciar a Growth y perfeccionar la

fiabilidad de sus resultados, sería basar las respuestas en reacciones emocionales
de los estudiantes a afirmaciones, imágenes o preguntas, las cuales no tienen una
respuesta correcta o incorrecta. Sin embargo, de aprobarse la versión del
Parlamento, Growth no podrá hacer uso de esta finalidad.
El uso de reacciones biométricas en centros educativos podría utilizarse en

detrimento de los derechos fundamentales de los menores, como para monitorear
los estados de ánimo de un alumno durante un examen o la asignación de ciertos
privilegios o castigos en función de sus reacciones emocionales. Sin embargo, al
prohibir taxativamente este uso, y no requerir un elemento perjudicial, como se
hace en el resto de supuestos, se podría estar frenando la innovación ética en el
campo de la psicología educativa en contextos donde los menores pueden no
76
Página web: https://hume.ai/about
77
Página web: https://thelightbulb.ai/about-us/
47
reconocer sus propias emociones78. Sin embargo, la valoración de las múltiples
cuestiones éticas del uso de sistemas de IA en contextos educativos se reserva
para posteriores estudios.
De aprobarse esta prohibición, habría que advertir a Growth de que no podría

realizar proyectos que hagan uso de datos biométricos para la inferencia de la
personalidad en los ámbitos de la educación y el empleo. Es decir, deberá limitarse
al análisis de respuestas en formato texto durante todo el desarrollo de su
actividad empresarial.
Sin embargo, para la línea de negocio del ticketing, Growth podría emplear datos
biométricos, si bien deberá informar tanto de que se está interaccionando con un
sistema de IA, como que se está empleando reconocimiento de emociones. Sobre
esta cuestión se tratará más adelante con los requisitos de transparencia.
78
Por ejemplo, es habitual la situación de un menor de edad que desconoce la rama profesional en la que
desea especializarse al sufrir presiones externas por parte de parientes, profesorado u otras influencias. Sin
embargo, los indicadores emocionales podrían indicar preferencias para ciertas afirmaciones o imágenes que
describan distintas situaciones profesionales.
48
VII. SISTEMAS DE ALTO RIESGO
Después de analizar los sistemas prohibidos, es el turno de los sistemas de alto riesgo (en
adelante, “SAR”), los protagonistas del Reglamento. Dejando de lado algunas especialidades
menores, se podría decir que el Reglamento únicamente impone obligaciones a los SAR, en
un afán de regular únicamente lo estrictamente necesario. A cambio de tolerar el riesgo que
suponen los SAR, los proveedores deberán dar cumplimiento con ciertos requisitos y cumplir
con obligaciones, tanto antes como después de su comercialización.
A continuación, se analizarán los sistemas de alto riesgo en dos bloques: primero se

definirán los sistemas de alto riesgo y luego se establecerán las obligaciones de los
proveedores de sistemas de alto riesgo.
1. CLASIFICACIÓN DE LOS SISTEMAS DE ALTO RIESGO
Únicamente hay dos maneras para que un sistema de IA pueda llegar a ser catalogado de
alto riesgo, esto es (i) como producto especial o componente de seguridad de dichos
productos o (ii) como sistema que atenta contra los derechos fundamentales.
(i) El caso más sencillo es el de un sistema de IA que actúa como sistema de seguridad de
uno de los productos de la legislación de armonización de la Unión (listados en el Anexo II
del Reglamento) y que deba someterse a una evaluación de conformidad para su
introducción en el mercado o puesta en servicio en base a su legislación armonizada. En el
Anexo II se encuentran los siguientes productos79:
● Máquinas
● Ascensores
● Equipos radioeléctricos, equipos a presión y aparatos que queman combustibles
gaseosos
● Juguetes
● Productos sanitarios
● Equipos de protección
79
Además de estos productos, el anexo II B incorpora los productos mencionados en las exclusiones (coches,
aviones civiles, vehículos agrícolas, etc.), sin embargo, ya se ha mencionado que no son de aplicación práctica
en el RIA.
49
● Embarcaciones de recreo y motos acuáticas, instalaciones de transporte por cable
● Poner los de la parte
Un ejemplo de SAR sería un sistema de IA que predice averías en un ascensor, al tratarse de

un sistema de seguridad de un ascensor. En cambio, un sistema de IA que cambia las luces y
la música del ascensor en función del estado de ánimo de los ocupantes, no se trataría de un
SAR al no influir en la seguridad (ni tampoco de un sistema prohibido, ya que no inferiría
emociones en los ámbitos de la educación, el empleo o la aplicación de la ley). Otros
ejemplos serían el uso de robots en fábricas o sistemas de diagnóstico de salud, que deben
ser fiables y precisos.
Estos sistemas tendrán un tratamiento especial, como la presunción de que cumplen con el
Reglamento, siempre y cuando sus normas armonizadas prevean dichos requisitos en la
evaluación de conformidad ya regulada para estos productos.
(ii) La segunda manera de que un sistema sea un SAR es mediante la concurrencia de algún
supuesto del Anexo III del Reglamento, que contiene un listado de sistemas de IA, que por su
naturaleza, son considerados perniciosos para los derechos fundamentales. Que se trate de
un listado numerus clausus, ejemplifica la voluntad del Reglamento de no sobre-regular el
sector80. Sin embargo, podría argumentarse, por un lado, que un listado cerrado puede
resultar obsoleto con mayor facilidad (si bien la Comisión puede modificarlo mediante actos
delegados) y, por otro, que no se disponen de criterios o directrices para definir si nuevas
aplicaciones podrían ser consideradas de alto riesgo o no81.
Si bien en el Anexo II del presente estudio se detallan en profundidad los sistemas

considerados prohibidos por cada órgano europeo, de modo resumido, se trata de sistemas
de IA usados para:
● Identificación biométrica (en la versión del Parlamento, los que no estén prohibidos)
● Infraestructuras esenciales (digitales, transporte, suministro de agua, gas, calefacción y
electricidad)
● Formación educativa o profesional, que pueden determinar el acceso a la educación
(por ejemplo, puntuación de exámenes)
80
81
Edwards, L. (2022). Regulating AI in Europe: four problems and four solutions. Op. cit.
50
● Empleo y gestión de trabajadores (por ejemplo, software de clasificación de CV)
● Servicios públicos y privados esenciales (por ejemplo, sistemas de credit scoring)
● Aplicación de la ley (por ejemplo, el uso de polígrafos)
● Gestión de la migración, el asilo y el control de fronteras
● Administración de justicia y procesos democráticos
Como se puede observar en la tabla del Anexo II, además de que cada institución propone
distintos supuestos, también tienen interpretaciones distintas de la lista:
a. Comisión (interpretación amplia): El hecho de estar en la lista, automáticamente

implica que se trata de un sistema de alto riesgo.
b. Consejo (interpretación amplia con márgen de excepción): Los sistemas de IA del

Anexo III del Reglamento se considerarán de alto riesgo salvo que la “información de
salida del sistema sea meramente accesoria respecto de la acción o decisión pertinente
que deba adoptarse y, por tanto, sea poco probable que dé lugar a un riesgo
importante”.
c. Parlamento (interpretación cumulativa): Para el Parlamento, estar incluido en la lista no

es el único requisito, sino que además deberá presentar un riesgo significativo de causar
perjuicios para la salud, la seguridad o los derechos fundamentales de las personas
físicas o medioambientales (para determinar esto, el Parlamento propone que antes de
la entrada en vigor del RIA, la Comisión proporcione orientaciones). Sin embargo, en
caso que los proveedores no consideren que el sistema presente un riesgo significativo,
deberán presentar una notificación motivada a la autoridad nacional de supervisión (en
el caso de España, AESIA) o a la Oficina de la IA en la que indiquen que no están sujetos
a las obligaciones del RIA, a la que se deberá dar respuesta en un plazo de 3 meses.
El sistema propuesto por el Parlamento es el que permitirá fomentar la innovación en

Europa, ya que la mayoría de operadores económicos están disconformes con la rigidez
de la clasificación de sistemas de alto riesgo.
Por ejemplo, una tipología propuesta de SAR son los sistemas de IA para seleccionar
candidatos a un empleo. Por tanto, bajo la interpretación de la Comisión, un sistema
51
que solo sintetiza currículums sería considerado un SAR, si bien la incidencia en
derechos fundamentales es mínima.
Sin embargo, el sistema de opt out del Parlamento puede también acarrear
encubrimientos y definiciones fraudulentas por parte de los proveedores, que
maquillaran los verdaderos usos de sus sistemas para no tener que cumplir con las
obligaciones de los SAR. Además, el plazo de tres meses para resolver es escaso si se
prevé un alud de solicitudes para aprobar las evaluaciones de impacto.
Growth
Growth, al tratarse de una plataforma que no corresponde a ningún producto del

Anexo II, la única posibilidad de que suponga un sistema de alto riesgo es mediante la
concurrencia de un supuesto del Anexo III (riesgo a los derechos fundamentales).
En la práctica, las empresas no sólo exigirán saber si su sistema es identificado como

un SAR por el Reglamento, también pedirán conocer si hay alguna manera de
modificar el sistema para que no sea considerado un SAR, y que por tanto, no deban
dar cumplimiento con el grueso de obligaciones que se prevé para los SAR. Por tanto,
se procederá a este doble ejercicio para el caso de Growth.
Para ello, se dividirá la actividad de Growth en tres sectores: (i) Educación, (ii) Empleo
y (iii) Otros.
(i) Educación
Las tres instituciones europeas coinciden en que serán considerados SAR, (i) los
sistemas para determinar, o que influyan en, el acceso a centros y programas
educativos y, (ii) los sistemas para evaluar a estudiantes. El Consejo añade que la
evaluación de estudiantes incluye la realizada para orientar en el proceso de
aprendizaje.
No hay duda de que el modelo de negocio de Growth coincide de lleno con estos
requisitos, y es que como ya se ha avanzado, Growth tiene como objetivo orientar a
los estudiantes en sus procesos de aprendizaje, además de poder ofrecer servicios a
52
instituciones para determinar si los perfiles se corresponden con lo ofertado por estos
centros. Además, si bien el Consejo remarca que los resultados de la evaluación
también implican la orientación, tampoco era un apunte necesario, dado que los
“sistemas de evaluación de estudiantes” pueden ser tanto sistemas de evaluación
académica como sistemas de evaluación psicológica o de aptitudes.
No obstante, aún no puede extraerse una conclusión definitiva de si Growth (y

muchas otras empresas) deberán cumplir con las obligaciones del Reglamento
previstas para SAR. Si se adopta el redactado de la Comisión, Growth estaría
automáticamente vinculado al cumplimiento de las obligaciones. Seguramente
también lo estaría en el caso que se adopte la propuesta del Consejo, ya que Growth
no pretende ser un trámite accesorio.
Sin embargo, la propuesta del Parlamento es la que más margen dejaría a Growth
para lidiar con el sometimiento a las obligaciones. Ya que, si Growth puede
argumentar que no presenta un riesgo significativo de causar perjuicios para la salud o
los derechos fundamentales de los estudiantes o candidatos, no deberá dar
cumplimiento y únicamente tendrá que presentar una notificación motivada a la
autoridad nacional de supervisión. Si bien aún no existen indicaciones que ayudarían a
determinar qué supone un riesgo significativo, Growth podría argumentar que el uso
del sistema es el de proporcionar una guía al estudiante que identifique sus fortalezas
y sus debilidades, si bien no determinará ninguna calificación ni acceso del estudiante
a ningún programa educativo.
No obstante, Growth también tiene que tener en cuenta los usos que los
implementadores pueden dar del sistema, ¿sería previsible que un instituto lo usara
de manera que que vulnerara los derechos fundamentales de los estudiantes? Se ha
visto en apartados anteriores que los clientes tienen voluntades distintas a lo que
podría ser la finalidad para la cual está diseñado Growth. Es por ello, que para
justificar que no puede tratarse de un SAR, deberán elaborarse medidas que protejan
estas finalidades.
53
Además, habrá que monitorear los desarrollos normativos y opiniones que
determinen qué supone un riesgo a los derechos fundamentales en materia de
educación, ya que de los documentos que se disponen en la actualidad (como las
Directrices éticas para una IA confiable del Grupo de expertos de IA que se ha
mencionado anteriormente, no hace mención especial a los usos educativos de la IA).
(ii) Empleo
De nuevo, las tres instituciones europeas coinciden en que serán considerados SAR: (i)
Los sistemas para seleccionar y contratar personas que evalúen a los candidatos y (ii)
los sistemas para decidir, o influir en la iniciación, promoción y resolución de
relaciones laborales, para la asignación de tareas (basándose en la conducta) y para la
evaluación del rendimiento y la conducta de los trabajadores.
Es decir, cualquier cuestión relacionada con un cambio laboral que se base en un

sistema de inteligencia artificial será considerado como un SAR. De nuevo, Growth, o
cualquier startup del sector de la contratación que utilice IA deberá dar cumplimiento
con las obligaciones del Reglamento.
Growth se halla en la misma situación anterior, sin embargo, a diferencia del ámbito
educativo, en un empleo pueden prescindir del trabajador por causa de los resultados
en los tests de Growth. Por tanto, aunque se argumentara por parte de Growth que
los tests únicamente vayan a utilizarse con finalidades de crecimiento personal dentro
del equipo, no puede asegurar que el empleador no utilice los resultados como
indicadores de rendimiento, que se utilizarán a su vez para determinar la continuidad
del trabajador.
(iii) Otros
Como ya se ha mencionado en la presentación de Growth, esta empresa tiene una

tercera via de negocio explorada, el ticketing. Para este sector de negocio, el sistema
de IA de Growth no sería considerado un SAR, y por tanto, no deberá cumplir con los
requisitos previstos y únicamente deberá controlar que no se crucen las fronteras
consideradas prohibidas por el Reglamento. Además, Growth podría explorar la
54
posibilidad del uso de datos biométricos, ya que en este ámbito, como ya se ha
establecido, no están prohibidos.
2. OBLIGACIONES DE LOS SISTEMAS DE ALTO RIESGO
A. Introducción
Una vez definidos los SAR, pueden determinarse las obligaciones que el Reglamento prevé
para estos sistemas. Es primordial entender que, en línea con el enfoque basado en riesgos
del texto legislativo, el Reglamento prácticamente sólo impone obligaciones a los SAR. Por
tanto, si un sistema no cumple con los requisitos para considerarse un SAR, no deberá dar
cumplimiento con ninguna de las siguientes obligaciones. Esto tendrá dos consecuencias con
fuerzas opuestas. Por un lado, se reducirán orgánicamente ciertos riesgos prescindibles de
los sistemas en el mercado con el objetivo de no ser calificados como un SAR, pero por otro
lado, muchas empresas intentarán camuflar las verdaderas finalidades y riesgos de sus
sistemas.
La metodología empleada en este capítulo consistirá en intercalar los mandamientos

impuestos por el Reglamento con apuntes prácticos de lo que puede suponer dichas
obligaciones para una startup. Concretamente, con el expertise aportado por Growth, se
podrán analizar las preocupaciones y costes que supone en la actualidad dichos requisitos.
Todo y que ya se ha adelantado, conviene en este estadio recordar el objetivo del presente
estudio: identificar las obligaciones que derivarán del reglamento y sus consecuencias para
startups y PYMES. Dicho objetivo se materializa principalmente en el presente apartado. Sin
embargo, dado que la gran mayoría de estas empresas se concentran en la figura del
proveedor, no se entrará en el detalle de las obligaciones impuestas a implementadores,
distribuidores y otros operadores, que tienen obligaciones de carácter más bien secundario
y revisorio (si bien el Parlamento propone que los implementadores tengan que realizar una
evaluación de impacto de derechos fundamentales).
55
B. La importancia de la finalidad
Previo a detallar las obligaciones, conviene puntualizar que el cumplimiento del Reglamento
por parte de un sistema de IA no se determina en base al sistema per se, sino en base a la
finalidad con la que se introduce en el mercado (artículo 8.2 RIA).
Dejando de lado las especificidades de los modelos fundacionales, es esencial que las
empresas delimiten y documenten las finalidades de sus sistemas de manera extensa. Esto
no solo determinará si se trata o no de un SAR, sino del alcance de las obligaciones que
habrá que aplicar y de los usos indebidos que razonablemente pueda esperarse. Además, si
hay más de una finalidad distinta, y fuera de los casos de un sistema de IA de uso general,
deberá realizarse el ejercicio de compliance para cada una de ellas.
Growth
Para determinar si Growth es un SAR, en el apartado anterior ya se ha realizado un

examen genérico de las finalidades del sistema de IA, concluyendo que para los ámbitos
de la educación y el empleo, podría llegar a suponer a considerarse de riesgo. Por tanto,
en este capítulo únicamente se tomarán como finalidades sujetas a obligaciones las
relativas a educación y empleo.
Por ello, como se ha indicado, será relevante documentar de manera detallada en qué
consisten ambas finalidades. Una duda que le surge a Growth, y seguramente a cualquier
empresa que deba dar cumplimiento, es la extensión y concreción de estas descripciones.
El detalle deberá ser exhaustivo para responder al requisito de documentación del
Reglamento y para poder protegerse frente a modificaciones de dichas finalidades que
puedan dar los clientes. Si un cliente le da una finalidad no prevista al sistema, el
proveedor tendrá que defender que dicho uso no estaba previsto como finalidad (ni como
uso indebido razonablemente previsible).
56
C. Listado de obligaciones para los SAR
En el presente apartado, se enumeran las obligaciones que deberán cumplir los SAR. Podría
hablarse de ocho obligaciones, si bien la primera, incorpora el cumplimiento de seis
requisitos dispuestos en el Capítulo 2 del RIA que deben tener los sistemas de alto riesgo, y
por los que empienza el análisis.
1. Los sistemas deben cumplir los requisitos previstos en el Capítulo 2 del RIA
Como ya se ha adelantado, el RIA prevé un listado de requisitos que deben ser integrados en
el propio diseño del SAR. Como se puede ver en el gráfico mostrado a continuación, excepto
el requisito de disponer de un sistema de gestión de riesgos y el de elaborar la
documentación técnica, el resto de requerimientos tienen que estar integrados al diseñar el
sistema. Por tanto, como se profundizará en las recomendaciones, esto implica
necesariamente el rediseño de muchos sistemas que ya se encuentran operativos.
Fig. 3: Requisitos previstos en el Capítulo 2 del Reglamento de IA
57
Antes de proceder al análisis de las obligaciones, es procedente evaluar la gravedad de su
incumplimiento. Las sanciones para la contravención con estos requisitos se encuentran en
una horquilla, dependiendo de la versión del RIA y del requisito concreto infringido, pero se
barajan dos máximos: 20.000.000 de euros o el 4% del VNTA y 10.000.000 de euros o el 2%
del VNTA. Además, de nuevo, únicamente el Consejo prevé que se reduzca a la mitad el
porcentaje para startups y PYMES. A continuación, se detallan los requisitos.
a. Implementar y mantener un sistema de gestión de riesgos (artículo 9 RIA)
El Reglamento impone a las empresas proveedoras de un SAR que documenten y mantengan

un sistema de gestión de riesgos (en adelante, “SGR”), que está compuesto por una serie de
pasos llevados a cabo durante todo el ciclo de vida de un sistema. Las tres etapas82 son las
siguientes:
1. Evaluación ex ante
Se trata de identificar y evaluar los riesgos existentes y previsibles, tanto usando el SAR
con su finalidad prevista, como para un uso indebido razonablemente previsible. Los
riesgos pueden plantearse para la salud, la seguridad de las personas, para sus derechos
fundamentales, la democracia y el Estado de Derecho o el medio ambiente. Si estos
riesgos no son aceptables, deberán adoptarse medidas para mitigar los riesgos.
En este estadio pueden ser de gran utilidad el uso de normas estandarizadas

multisectoriales83 como la ISO 31000:2018 o la IEC 31010:2019 en materia de Gestión de
riesgos o el Marco de gestión de riesgos del Instituto Nacional de Normas y Tecnología
de Estados Unidos. Estas directrices permiten reconocer los riesgos de manera
estandarizada y su cumplimiento genera un valor añadido a la empresa.
82
La Comisión plantea cuatro etapas, ya que separa el primer paso en dos distintos, sin embargo el Parlamento
y el Consejo los une para una mayor coherencia.
83
Schuett, J. (2023). Risk Management in the Artificial Intelligence Act. European Journal of Risk Regulation,
1-19.
www.cambridge.org/core/journals/european-journal-of-risk-regulation/article/risk-management-in-t
he-artificial-intelligence-act/2E4D5707E65EFB3251A76E288BA74068
58
2. Evaluación ex post
Una vez introducido el SAR en el mercado, deben evaluarse otros riesgos que podrían
surgir a partir del análisis de los datos recogidos con el “sistema de seguimiento
posterior a la comercialización”. Este sistema posterior, previsto en el artículo 61 RIA,
permite a los usuarios de los sistemas de IA generar feedback para el proveedor,
permitiendo identificar riesgos que no se pudieron prever ex ante.
3. Adopción de medidas apropiadas para gestionar los riesgos identificados
Las medidas, que tendrán en cuenta el estado de la técnica, podrán tolerar los riesgos
residuales, siempre y cuando sean informados al usuario y aplicando el criterio
proporcionalidad. Además, el Reglamento establece una serie de directrices para
determinar las medidas más adecuadas, como la importancia de eliminar o reducir los
riesgos desde el diseño y la proporción de información a los implementadores como
medida reductora del riesgo.
Growth
Si bien esta tabla no pretende ser un SGR exhaustivo para Growth, sería una primera
aproximación del planteamiento y documentación de dicho sistema. Sin embargo, Growth
ha considerado que este análisis, relacionado con el cumplimiento de normas
estandarizadas, sería una función que muy probablemente se externalice a una empresa
que preste servicios de compliance, al no disponer la empresa del conocimiento necesario
para realizar una evaluación de este calibre84.
Como es práctica habitual en el Registro de Actividades del Tratamiento de la normativa

de protección de datos, el formato tabla es considerado el más adecuado para el análisis
de los riesgos que pueden surgir.
84
Milio, S., Devenyi, V., Georgiev, S. & Pierrefeu, G. (2021). p. 160. Op. cit.
59
A partir de este momento, en aras de la brevedad y la claridad, únicamente se considerará
la finalidad educativa del sistema de Growth para realizar el análisis de las obligaciones,
prescindiendo del elemento laboral.
Riesgos identificados Medidas
● Ausencia de explicabilidad del ● Introducir sistemas de

sistema de IA. monitorización del sistema de IA.
● Ausencia de entrenamiento que ● Incrementar el entrenamiento de
Ex ante
puede llevar a respuestas manera óptima.
incorrectas con impacto en los
derechos fundamentales.
● Cambios en las corrientes ● Elaborar un plan de actualización

psicológicas que desactualizan con las recientes publicaciones
los resultados. científico-psicológicas.
Ex post
● Re-entrenamiento con posibles ● Establecer sistemas de control de
datos sesgados (si se utilizan sesgos de los datos usados para
datos de un colegio no-mixto). re-entrenar el sistema.
b. Uso de datos adecuados y gobernanza de datos (artículo 10 RIA)
El Reglamento establece que los datos de entrenamiento, validación y prueba tendrán que
dar cumplimiento con una serie de requisitos. Solo pueden obtenerse sistemas de IA
respetuosos con los derechos fundamentales si están basados en algoritmos entrenados con
bases de datos de calidad y respetuosas con los derechos.
Para ello, los conjuntos de datos serán sometidos a prácticas adecuadas de gobernanza y
gestión de datos, que se centrarán en: la elección de un diseño adecuado, ser transparentes
en relación a la finalidad de recopilación, los procesos de recopilación de datos, las
60
operaciones necesarias para la preparación de los datos (anotación, etiquetado, depuración,
agregación) y un examen de sesgos85, entre otras cuestiones.
El Reglamento establece como requisito que estos conjuntos de datos sean pertinentes y
representativos, que carezcan de errores y que estén completos, con las propiedades
estadísticas adecuadas, solo así se evitarán los sesgos. Si no se controla la calidad en los
datos desde la raíz, solo empeorarán el resultado, también conocido como garbage
in-garbage out 86.
Por último, es de suma importancia que las organizaciones que diseñan sistemas de IA
inicien las tareas de control y gobernanza de datos de inmediato, ya que por la propia
naturaleza de los algoritmos, será muy dificultoso identificar la contaminación de un
algoritmo por datos sesgados o incompletos. Por tanto, las empresas deberían ya tener
acceso a bases de datos relevantes y sistemas de computarización avanzada.
Las grandes empresas disponen de los recursos necesarios para tener bases de datos limpias
y bien catalogadas, en cambio, startups y PYMES tendrán mayores complicaciones para
destinar recursos a depurar impurezas87. Si bien, hay corrientes científicas que defienden
que la IA del futuro se basará en menores volúmenes datos, y se volverá a dar más peso al
razonamiento88.
Growth
Si bien aún no existen directrices oficiales de cómo evaluar la calidad de los datos, la
Agencia de la Unión Europea por los Derechos Fundamentales (AUEDF), ha listado una
85
El Parlamento remarca que los sesgos deben “afectar la salud y la seguridad de las personas, afectar
negativamente a los derechos fundamentales o dar lugar a una discriminación prohibida por el Derecho de la
Unión, especialmente cuando los datos de salida influyan en los datos de entrada en futuras operaciones
(«bucle de retroalimentación») y medidas adecuadas para detectar, prevenir y mitigar posibles sesgos”. En
cambio el Consejo limita los sesgos a los que “puedan afectar a la salud y la seguridad de las personas físicas o
dar lugar a algún tipo de discriminación prohibida por el Derecho de la Unión”.
86
FRA - Agencia de la Unión Europea por los Derechos Fundamentales. (2019). Data quality and artificial
intelligence – mitigating bias and error to protect fundamental rights.
fra.europa.eu/sites/default/files/fra_uploads/fra-2019-data-quality-and-ai_en.pdf
87
Tomada, L. (2022). Start-ups and the proposed EU AI Act: Bridges or Barriers in the path from Invention to
Innovation? JIPITEC 53. https://www.jipitec.eu/issues/jipitec-13-1-2022/5511/tomada_pdf.pdf
88
Wilson, J., Daugherty, P. & Davenport, C. (14 de enero de 2019). The Future of AI Will Be About Less Data, Not
More. Harvard Business Review. hbr.org/2019/01/the-future-of-ai-will-be-about-less-data-not-more
61
serie de preguntas en su informe sobre “Calidad de los datos e Inteligencia Artificial”89,
que pueden ser de utilidad para las empresas que utilizan datos personales para entrenar
sus sistemas de IA.
Por ejemplo, una pregunta esencial es de dónde provienen los datos. En el caso de
Growth, siempre han sido de origen interno, a partir de la respuesta a los propios
cuestionarios elaborados internamente. Este hecho facilita enormemente el control de
calidad sobre estos datos, ya que han sido recogidos mediante protocolos internos. Sin
embargo, lo habitual para el resto de empresas es utilizar bases de datos que no pueden
ofrecer todas las garantías necesarias, y se origina un foco de inseguridad jurídica.
No obstante, para multiplicar los datos, Growth utiliza una API de OpenAI que a partir de
los datos introducidos, puede generar nuevos datos. El riesgo que surge del uso del
algoritmo de OpenAI es el hecho de que este podría contener sesgos fuera del alcance de
Growth, y contaminar los resultados de las evaluaciones psicológicas de Growth.
Otra de las preguntas de la AUEDF se centra en evaluar si los datos están sesgados. Es por
ello, que es esencial controlar estos sesgos en los resultados que derivan de estos, y
establecer contractualmente con OpenAI la obligación de que la proveedora del servicio
de multiplicación controle estos sesgos (independientemente de las obligaciones que
tenga OpenAI derivadas del Reglamento).
Otras preguntas a las que deberá dar respuesta Growth son: ¿Quién es responsable de la
recopilación, mantenimiento y difusión de los datos? ¿Es la información incluida en los
datos adecuada para el propósito del algoritmo? ¿Quiénes están subrepresentados en los
datos? ¿Falta información en el conjunto de datos o hay algunas unidades que sólo están
parcialmente cubiertas? ¿Cuál es el período de tiempo y la cobertura geográfica de la
recopilación de datos utilizada para construir la aplicación? Entre muchas otras cuestiones.
89
FRA - Agencia de la Unión Europea por los Derechos Fundamentales. (2019). Op. cit.
62
c. Documentación técnica (artículo 11 RIA)
Todo sistema de IA de alto riesgo, previamente a su introducción en el mercado o puesta en

servicio, deberá preparar la documentación técnica y mantenerla actualizada. El contenido
que debe comprender dicha documentación se encuentra resumido en el Anexo III del
presente estudio. Algunos conceptos que requieren ser documentados, como la vigilancia
humana o la declaración de conformidad, serán desarrollados en los siguientes apartados.
El objetivo de dicha documentación es demostrar que el sistema cumple los requisitos del
RIA y proporciona a las autoridades la información necesaria para evaluar si el sistema
cumple con ellos. Sin embargo, el volumen y exhaustividad de la documentación a mantener
puede resultar en un aumento sustancial de los costes de compliance para las empresas,
especialmente las startups y PYMES, que tendrán que tener a personal contratado
únicamente para documentar y gestionar el cumplimiento con el RIA.
Es por ello, que el Parlamento y el Consejo añaden en sus respectivas versiones que PYMES y
startups podrán presentar en sustitución cualquier documentación equivalente que cumpla
los mismos objetivos, equivalencia que corresponderá comprobar a la autoridad
competente. Por tanto, de aprobarse dicha propuesta podría entenderse que las empresas
emergentes tendrán un requisito de documentación más laxo.
Sin embargo, el requisito de equivalencia es un impedimento además de un concepto

jurídico indeterminado que habrá que atender cómo se interpreta por las autoridades. De
todas maneras, autores como Tomada (2022) consideran que la elaboración de
documentación puede ser una tarea relativamente sencilla para empresas emergentes y que
simplemente requiere mayores esfuerzos organizativos90.
d. Registros (artículo 12 RIA)
El Reglamento establece como requisito para los SAR que estos puedan registrar
automáticamente los eventos que ocurren durante su funcionamiento y que conserven
dichos registros, también llamado logs. El objetivo de esto es garantizar la trazabilidad del
90
Tomada, L. (2022). Op. cit.
63
funcionamiento del sistema y comprobar que se ajusta a la finalidad prevista y que no haya
modificaciones sustanciales de la finalidad del sistema.
Este elemento es quizás el requisito que requiere de una mayor tarea de programación, y
que puede suponer un inconveniente para los programas ya desarrollados. Sin embargo,
también es el requisito que aporta entendimiento y trazabilidad a estos sistemas.
Growth
Para Growth, este requisito cambiará por completo su modus operandi. En la actualidad,
Growth elimina todos los registros del sistema de IA con el objetivo de no almacenar
ningún dato personal más tiempo de lo necesario. Esta metodología también la siguen
muchas empresas, que vienen guiadas por las obligaciones del Reglamento de Protección
de Datos.
Sin embargo, si se requerirá el registro de todos los procesos, todas estas empresas
deberán realizar un triple esfuerzo: anonimizar los datos que antes simplemente
eliminaban, reprogramar los sistemas para que almacenen la información requerida e
invertir en servidores que almacenen todos estos datos durante el tiempo legalmente
establecido en el RIA.
En la esfera del Big Data, solicitar estos registros masivos sin limitación alguna es
económicamente, y medioambientalmente insostenible. En el caso de Growth, reciben
más de 3 millones de entradas al mes. Si toda esta información y todos los procesos deben
ser almacenados, los costes serán inasumibles para startups y PYMES que dependen de
servidores de proveedores externos (en el caso de Growth, de Amazon Web Services).
e. Transparencia y comunicación de información a los usuarios (artículo 13 RIA)
Se establece que los SAR deberán funcionar con un nivel de transparencia suficiente para
que los proveedores y usuarios interpreten y usen correctamente la información de salida, y
para que las autoridades supervisoras pueden efectivamente controlar la legalidad de los
sistemas. Para ello, deberán ir acompañados de instrucciones de uso adecuadas, con
64
“información concisa, completa, correcta y clara que sea pertinente, accesible y
comprensible para los usuarios”. Nótese que la obligación de información se establece a
favor de los proveedores y usuarios, pero no de las personas físicas o ciudadanos que sufren
las decisiones tomadas con sistemas de IA, tal como se profundizará al final del estudio en
las propuestas de mejora del Reglamento.
Sin entrar al detalle de la información que deberá aparecer en las instrucciones, estas
deberán incluir: (i) la identidad del proveedor, (ii) las características, capacidades y
limitaciones del SAR (finalidad prevista, el nivel de previsión, riesgos, especificaciones sobre
los datos de entrenamiento, etc.), (iii) las medidas de vigilancia humanas, y (iv) la vida útil
prevista y las medidas de mantenimiento y actualización del software.
El Parlamento establece que para cumplir con las obligaciones de transparencia y

comunicación, los proveedores e implementadores garantizarán un nivel suficiente de
alfabetización de su personal en materia de IA. En particular, dichas medidas consisten en
“la enseñanza de nociones y capacidades básicas sobre sistemas de IA y su funcionamiento,
incluidos los distintos tipos de productos y usos, sus riesgos y sus beneficios”. Es decir, las
empresas que gestionen SAR deberán establecer programas de entrenamiento para su
personal, atendiendo a las capacidades técnicas de cada trabajador.
Sin embargo, el problema se encuentra en que si bien las empresas pueden tener la
voluntad de ser más transparentes, las limitaciones prácticas de los sistemas de IA lo
impidan. Aún existe mucho desconocimiento de cómo los sistemas de IA aprenden de los
datos introducidos ya que pueden aprender de parámetros para los cuales no han sido
específicamente entrenados (deep learning). Por tanto, muchas veces no se sabe ni siquiera
qué es lo que debe ser monitorizado en un sistema91, y en consecuencia, puede carse en
sesgos como el de confiar en exceso en la información de salida (también llamado “sesgo de
automatización”).
De hecho, hay un estudio92 que afirma que se desconoce cuándo, si es que incluso se puede
llegar a conocer, podremos disponer de sistemas que podamos entender. Ejemplo de esto es
91
Pouget, H. (12 de enero de 2023). The EU’s AI Act Is Barreling Toward AI Standards That Do Not Exist.
Lawfare Media. www.lawfaremedia.org/article/eus-ai-act-barreling-toward-ai-standards-do-not-exist
92
Rudner, T. & Toner, H. (2021). Key Concepts in AI Safety: Interpretability in Machine Learning. CSET.
cset.georgetown.edu/publication/key-concepts-in-ai-safety-interpretability-in-machine-learning/
65
que incluso los sistemas de IA que más controles han superado, como podría ser el sistema
de autopiloto de los coches autónomos, siguen teniendo errores que no pueden
comprenderse93.
Estas limitaciones tecnológicas, para Panigutti et al. (2023), no tiene que ser un
impedimento para lograr la transparencia del sistema94. Estos autores defienden que no es
necesario entender el sistema o en generar la transparencia desde el diseño, sino que
mediante la concreción de la finalidad del sistema, la explicabilidad del output que genera y
la intervención humana, la mayoría de riesgos son solventados, y por tanto puede llegar a
cumplirse con el Reglamento de manera plena.
Growth
En el caso de Growth, que interactúa en entornos con menores de edad, dedicar esfuerzos
a la explicabilidad del sistema ha sido una obligación impuesta por los progenitores de los
menores. En palabras de Growth, existe mucha demanda por saber qué ocurre dentro del
sistema, y cómo son usados los datos de los menores. Es por ello, que Growth dispone de
muchos recursos elaborados con la finalidad de aumentar la transparencia del sistema.
Además, el hecho de explicar esta información también incrementa la literatura de estos
usuarios finales en materia de inteligencia artificial.
Sin embargo, en sectores en los que no se interactúa con menores de edad, la

transparencia puede ser uno de los aspectos más difíciles de cumplir para las empresas, al
no haber sido hasta el momento una prioridad para estas empresas.
f. Vigilancia humana (art. 14 RIA)
El Reglamento establece que los sistemas sean diseñados de modo que puedan ser vigilados
por personas físicas mientras sean usados, debiendo incluir una herramienta de interfaz
93
Siddiqui, F. (19 de marzo de 2023). How Elon Musk knocked Tesla’s ‘Full Self-Driving’ off course. Washington
Post. www.washingtonpost.com/technology/2023/03/19/elon-musk-tesla-driving/
94
Panigutti, C., Hamon, R., Hupont, I., Fernandez, D., Fano, D., Junklewitz, H., Scalzo, S., Mazzini, G., Sanchez, I.,
Soler, J. & Gomez, E. (2023). The role of explainable AI in the context of the AI Act.
doi.org/10.1145/3593013.3594069
66
humano-máquina. Del mismo modo que con la obligación de registros, la interfaz requiere
de una reprogramación del sistema.
Además, el Reglamento prevé que la vigilancia humana pueda ser implementada de dos
maneras: o siempre es llevada a cabo por el proveedor, o el proveedor define las medidas de
vigilancia para que las lleve a cabo el implementador. La elección dependerá de la manera en
que esté programado el sistema, si está conectado a servidores del proveedor, etc.
Es requisito esencial que la persona vigilante sea capaz de entender por completo las
capacidades y limitaciones del sistema y que pueda controlar su funcionamiento, pudiendo
detectar anomalías o comportamientos inesperados, y ponerles solución, incluyendo la
opción de interrumpir el sistema con un botón.
Growth
En una primera lectura, podría parecer que este es el requisito más sencillo con el que
cumplir, ya que simplemente implicaría la contratación o reestructuración de un cargo ya
existente. Sin embargo, la realidad es que las personas físicas muy difícilmente van a
poder identificar un sesgo, más en un sistema como el de Growth en el que el propio
etiquetado de los datos difícilmente generaría un sesgo.
En el caso de Growth, por la dinámica del modelo de negocio, sería más adecuada la
opción de que los tutores de cada aula (implementadores), recibieran la información
necesaria para comprender si el sistema funciona de manera adecuada. Sin embargo, esto
incrementaría los costes de entrenamiento, y por tanto el coste total del servicio.
g. Precisión, solidez y ciberseguridad (artículo 15)
El Reglamento establece que los SAR serán diseñados de modo que “alcancen un nivel
adecuado de precisión, solidez y ciberseguridad y funcionen de manera consistente en esos
sentidos durante todo su ciclo de vida”. Se establece que dichos sistemas deberán ser
resistentes a errores, fallos e incoherencias que puedan surgir por el uso.
67
Como soluciones al requisito de solidez se proponen las copias de seguridad o planes de
prevención contra dichos fallos. Y en relación a la ciberseguridad, se proponen medidas para
prevenir y controlar los ataques y los datos de entrada.
Al tratarse de un estado muy inicial de la normativa, aún no existen criterios para determinar
cuáles son los niveles adecuados. Sin embargo, el Parlamento establece que la Oficina de IA,
junto a las autoridades de metrología y de evaluación comparativa, proporcionará
orientaciones no vinculantes sobre la cuestión.
2. Demostrar, a solicitud de la autoridad nacional competente, que el SAR cumple dichos

requisitos (cooperación)
Después de analizar la obligación de cumplir con los requisitos del RIA, se contempla como
segunda obligación que los SAR proporcionen a las autoridades competentes toda la
información necesaria que demuestre el cumplimiento de los requisitos expuestos
anteriormente. Como ya se ha avanzado, esto será posible mediante el cumplimiento del
requisito de documentación previamente expuesto.
Sin embargo, este sería el primer momento en que el grueso de documentación sale del
ámbito de custodia del proveedor. Esto genera un riesgo dado que en dicha documentación
pueden plasmarse secretos empresariales y know how con un alto valor económico. Es por
ello, que el Parlamento remarca que cualquier información obtenida por una autoridad se
considerará automáticamente un secreto comercial y deberá tratarse con todas las garantías
de confidencialidad, además de respetar los derechos de propiedad intelectual e industrial
que sean de aplicación.
Para preservar el carácter secreto de la tecnología, y por tanto, gozar de la protección

conferida por la Ley de Secretos Empresariales95, las empresas que transfieran secretos a
dichos órganos de supervisión deberán establecer contractualmente las obligaciones de
confidencialidad de la información proveída. Sin embargo, habrá que esperar para ver cómo
se realizan estas transferencias en la práctica, y si va a haber una voluntad de las
95
Cortes Generales de España. (20 de febrero de 2019). Ley 1/2019, de 20 de febrero, de Secretos
Empresariales. https://www.boe.es/buscar/doc.php?id=BOE-A-2019-2364
68
administraciones públicas de vincularse contractualmente, todo y tener AESIA (la agencia
supervisora española de IA) personalidad jurídica pública96.
3. Adoptar las medidas correctoras necesarias e informar cuando un SAR no cumpla los
requisitos establecidos
Si bien en el sistema de gestión de riesgos se establece una metodología para implementar

medidas correctoras sobre los riesgos identificados, en caso de que el SAR no cumpla con
uno de los otros requisitos, se deberá tomar acciones de manera inmediata. Además, se
establece una obligación de informar de ello a los implementadores, a los distribuidores del
sistema, al representante autorizado, a los importadores y a las autoridades nacionales
donde se haya comercializado.
4. Contar con un sistema de gestión de calidad
El objetivo del sistema de gestión de calidad (en adelante, “SGC”) es garantizar el

cumplimiento con el Reglamento. El SGC no es un término nuevo, es un proceder que se
aplica en muchos otros ámbitos de la empresa y que está normalizado mediante la ISO
9001:2015 sobre Sistemas de Gestión de Calidad.
Sin embargo, el Reglamento convierte en obligatoria esta buena práctica, y establece que en
el caso de la IA deberá estar documentado mediante políticas, procedimientos e
instrucciones, sobre los siguientes aspectos: una estrategia para el cumplimiento del
Reglamento, las técnicas que se utilizarán para controlar y verificar el funcionamiento del
SAR, los sistemas y procedimientos de gestión de datos (recopilación, etiquetado,
almacenamiento, etc.), el SGR mencionado anteriormente, el sistema de seguimiento
posterior del artículo 61, procedimientos para la notificación de incidentes graves, un marco
de rendición de cuentas que defina las responsabilidades del personal directivo en relación
con todos los aspectos del sistema de calidad, etc.
96
Consejo de Ministros. (22 de agosto de 2023). Real Decreto 729/2023, de 22 de agosto, por el que se aprueba
el Estatuto de la Agencia Española de Supervisión de Inteligencia Artificial.
https://www.boe.es/buscar/act.php?id=BOE-A-2023-18911
69
El Reglamento establece que la inclusión de estos aspectos será proporcional al tamaño de
la organización. Sin embargo, de nuevo nos encontramos ante una situación parecida a la
equivalencia de documentación para empresas emergentes, y es que no se define
legalmente ningún parámetro sobre dicha proporción. Además, el Parlamento añade a este
apunte que deberán respetar en todo caso el grado de rigor y el nivel de protección
requerido para garantizar la conformidad de sus sistemas de AI con el presente Reglamento,
disipando la flexibilidad previamente conferida.
Por último, el Consejo, en el artículo 55 bis de su versión del Reglamento establece que las
microempresas no deberán contar con un SGC, siendo estas las que tienen menos de 10
trabajadores y cuyo volumen de negocios anual o cuyo balance general anual no supera los
2 millones de euros.
Growth
Dado que supera el número de 10 trabajadores, de aprobarse en la versión final del

Reglamento de Inteligencia Artificial, Growth no podría acogerse a la excepción propuesta
por el Consejo para no tener que disponer de un SGC. En línea con las obligaciones
anteriores, Growth delegaría la elaboración de este SGC a una entidad externa, al tratarse
de un requerimiento documental el cual implicaría el uso de demasiados recursos internos
de los cuales no se dispone.
En añadido, como una buena práctica de transparencia, se recomendaría a Growth

disponer de una versión reducida y de lectura sencilla publicada en la página web para su
libre acceso.
5. Someter al SAR a una evaluación de conformidad (EC) y elaborar una declaración UE

de conformidad
La importancia de los estándares armonizados
Antes de entrar a evaluar los requisitos de la evaluación de conformidad, el Reglamento

introduce los estándares armonizados europeos. Esto son estándares que a petición de la
70
Comisión, son aprobados por una de las tres organizaciones europeas de normalización
(CEN97, CENELEC98 o ETSI99), y eventualmente son publicados en el DOUE. Su símil
internacional sería la ISO, la IEC o la ITU, con las que existe un alto nivel de convergencia100,
si bien estas normas no tienen vinculación institucional.
El Reglamento establece como presunción que los SAR que sean conformes con normas
armonizadas publicadas en el DOUE, y que prevean los requisitos del Reglamento, serán
conformes con los requisitos del Capítulo 2. Para ello, se prevé que la Comisión hará
peticiones de normalización dos meses después de la entrada en vigor del Reglamento y que
estas tendrán en cuenta la innovación, las empresas emergentes101 (si bien en la práctica
existen quejas de una falta de representación de este tipo de empresas102) y otros
estándares internacionales en el campo de la IA (como la IEC 23894:2023), para así poder
llegar a una coordinación que refuerce la competitividad de la industria europea. Estos
estándares cobrarán vital importancia al ser responsables de llevar a la práctica los principios
y mínimos establecidos en el Reglamento mediante el establecimiento de los requisitos
técnicos, la definición de tests, herramientas y métricas103.
En el caso de que estas normas armonizadas no existan o no sean suficientes, la Comisión

podrá, mediante actos de ejecución, adoptar especificaciones relativas a los requisitos de los
SAR.
Esta presunción de conformidad generará un incremento en la demanda por el

cumplimiento con normas estandarizadas, todo y ser voluntarias, además de reducir los
costes en compliance104. Sin embargo, como bien señalan Meltzer Y Tielemans (2022)105,
habrá que balancear los estándares europeos con los internacionales para lograr una
97
Comité Europeo de Estandarización.
98
Comité Europeo de Estandarización Electrotécnica.
99
Instituto Europeo de Estándares de la Telecomunicación.
100
Engler. A. (8 de junio de 2022). The EU AI Act will have global impact, but a limited Brussels Effect. Op. Cit.
101
El artículo 6 del Reglamento (UE) No 1025/2012 del Parlamento Europeo y del Consejo de 25 de octubre que
regula los estándares de normalización establece que las organizaciones deberán publicar anualmente
programas de trabajo y fomentar la participación de startups y PYMES en los procesos de estandarización y
ofreciendo gratuitamente resúmenes de las normas a este tipo de empresas.
102
McFadden, M., Jones, K., Taylor, E. & Osborn, G. (2021). Harmonising Artificial Intelligence: The role of
standards in the EU AI Regulation. Oxford Information Labs.
https://oxil.uk/publications/2021-12-02-oxford-internet-institute-oxil-harmonising-ai/Harmonising-AI-OXIL.pdf
103
Pouget, H. (12 de enero de 2023). Op. Cit.
104
McFadden, M., Jones, K., Taylor, E. & Osborn, G. (2021). Op. Cit.
105
Meltzer, J. & Tielemans, A. (2022). Op. Cit.
71
armonización global. Además, muchas organizaciones que velan por los derechos
fundamentales tienen preocupaciones fundadas por el hecho de delegar esta
estandarización a organizaciones más vinculadas a la seguridad física que a la protección de
los derechos humanos106.
El objetivo de la evaluación de conformidad
Los estándares armonizados sirven como presunción para demostrar el cumplimiento con
los requisitos del RIA dentro del procedimiento de evaluación de conformidad (en adelante,
“EC”). Es decir, cumplir con los estándares no exime del procedimiento pero sí que lo
simplifica.
La EC cobró fuerza con el Nuevo Marco Legislativo o New Legislative Framework (NLF), un
conjunto de reglamentos que pretenden mejorar y homogeneizar la seguridad de los
productos comercializados en la UE, mediante procedimientos estandarizados y mejora de la
supervisión. De hecho, el NLF es responsable del marcado CE (que significa conformidad
europea, ) que se visualiza en productos comercializados en la UE. Este no es el único
punto de confluencia entre el NLF y el Reglamento, ya que los productos que son clasificados
de alto riesgo del Anexo II del Reglamento (juguetes, ascensores, máquinas, etc.), todos
atienden a las directrices del NLF.
Por tanto, el RIA se une al objetivo de armonizar la seguridad de los productos

comercializados en la UE, y por ello, establece la EC como herramienta, a la vez que minimiza
la carga para los operadores europeos y evita duplicaciones innecesarias. Ya que, por
ejemplo, si un sistema de IA es considerado de alto riesgo al tratarse de un componente de
seguridad de uno de los productos del Anexo II (por ejemplo, un componente de seguridad
de un ascensor), dicho ascensor ya habrá sido sometido a una EC en base al Reglamento de
ascensores de la UE. Por tanto, es de utilidad hacer uso de los procedimientos de control ya
establecidos y unificar los esfuerzos.
106
Pouget, H. (12 de enero de 2023). Op. Cit.
72
Operadores en la evaluación de conformidad
Establecida la razón de ser de la EC, se procede a explicar su funcionamiento mediante dos

figuras: la autoridad notificante y los organismos de EC. El RIA establece que en cada Estado
Miembro habrá una autoridad notificante que establecerá los procedimientos necesarios
para la evaluación, designación y notificación de los organismos de EC u organismos
notificados.
Estos dos operadores serán independientes entre ellos, siendo la autoridad notificante un
organismo de carácter público, y los organismos de EC operadores privados que prestan
servicios de evaluación. Las autoridades notificantes velarán por que las EC se lleven a cabo
de forma proporcionada, evitando cargas innecesarias para los proveedores. Además, se
establece que las autoridades notificantes controlarán que los organismos de EC
desempeñen sus actividades teniendo debidamente en cuenta el tamaño de las empresas, el
sector en que operan, su estructura y el grado de complejidad del SAR en cuestión.
Por tanto, en este estadio se establece otro criterio de flexibilización para startups y PYMES,
sin embargo, no se establece de qué manera afectarán dichas características, dado que
podría ser en costes, en plazos, en requisitos informativos, etc. Solo el Parlamento establece
que se tendrán en cuenta los intereses de las startups a la hora decidir las tasas para la EC,
reduciendo dichas tasas en proporción a su tamaño y cuota de mercado.
Evaluaciones independientes y evaluaciones internas
El Reglamento prevé dos tipos de EC. Por un lado, las externas realizadas por organismos de
EC, y por otro lado, las internas llevadas a cabo por el propio proveedor in house. Sin
embargo, la costosa participación de un organismo externo e independiente será una
situación excepcional y únicamente obligatoria para los sistemas de identificación biométrica
y categorización que no cumplan con estándares armonizados o especificaciones de la
Comisión. En el caso de que estos sistemas biométricos aplicaran normas armonizadas,
podrán optar por EC internas o EC externas.
73
El resto de SAR del Anexo III (el listado de finalidades que afectan a derechos
fundamentales) deberán obligatoriamente realizar una EC interna, y los SAR del Anexo II
(juguetes, ascensores, máquinas, etc.) deberán cumplir con las EC previstas en su respectiva
normativa sectorial, que incluirán los requisitos establecidos en el RIA para este tipo de
sistemas.
Es económicamente positivo que se imponga la obligación de realizar evaluaciones internas

a los sistemas de alto riesgo que no sean los biométricos especificados, dado que de darse la
posibilidad de optar entre una EC interna o una EC externa, podría crearse un efecto de
sobrecumplimiento, en el que empresas recurran a servicios de terceros con la esperanza de
que esto garantice la legalidad de sus sistemas. Por otro lado, realizar evaluaciones internas
pone en una mayor situación de riesgo los derechos fundamentales de los ciudadanos, ya
que las empresas, incluso de buena fe, pueden elaborar la documentación de manera que
parezca que se da cumplimiento con los requisitos, pero sin embargo, vulnerar dichas
disposiciones. O, como bien establece el Comité Económico y Social Europeo en la opinión
emitida en relación a la propuesta de RIA107, podría transformarse en un simple checklist de
sí o no.
Es por ello, que se podría proponer como alternativa la realización de auditorías aleatorias
por parte de las autoridades competentes en la vigilancia del cumplimiento con el RIA,
costeadas mediante fondos públicos, siempre y cuando las auditorías no certifiquen una
negligencia en los procedimientos de CE internos que hayan obtenido una calificación
negativa por parte de la auditoría. De esta manera pueden protegerse los derechos de los
ciudadanos europeos, a la vez que no se sobrecarga a las empresas con obstáculos
burocráticos.
107
Comité Económico y Social Europeo. (22 de septiembre de 2021). Dictamen del Comité Económico y Social
Europeo sobre la «Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen
normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial) y se modifican
determinados actos legislativos de la Unión».
https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52021AE2482
74
Documentación y marcado CE
En el caso que intervenga un organismo notificado en el procedimiento de EC, este emitirá

un certificado por un periodo de 5 años renovables (o 4 años según el Parlamento).
Luego, independientemente de si ha participado un organismo o se ha realizado mediante

control interno, el proveedor deberá redactar una declaración UE de conformidad, con la
información requerida en el Anexo V del RIA y detallando el proceso de conformidad
utilizado, que deberá estar a disposición de las autoridades después de un periodo de 10
años desde la introducción del SAR en el mercado. Por último, deberá colocarse el marcado
CE ( ) de manera visible en los SAR, y Parlamento y Consejo añaden que también deberá
indicarse el nombre o marca del SAR y contacto, en aras de una mayor seguridad jurídica en
el mercado.
Growth
Dado que Growth no es un sistema que utilice biometría para sus finalidades,
simplemente tendrá que realizar una EC interna, que luego podrá ser revisada por las
autoridades en materia de IA. Sin embargo, el coste de preparar la documentación técnica
es muy elevado. De hecho, en un estudio de la Comisión evaluando el impacto económico
que tendrá el RIA, se establece que para una startup o una PYME, especializada en el
ámbito de los productos sanitarios, los costes de preparación documental y comprobación
se situarían entre los 10.000 euros y los 30.000 euros, si bien el documento acaba fijando
una cuantía genérica de 4.800 euros para el resto de sectores108.
Si bien es cierto que Growth no forma parte del ámbito sanitario, al no tener experiencia
en este tipo de evaluaciones de conformidad, ya que no se trata de un producto del NLF,
es probable que recurran a servicios de terceros para elaborar esta documentación. Esto
tiene como consecuencia que los esfuerzos normativos del Reglamento para reducir la
carga económica de empresas mediante la permisión de realizar una EC interna, no sirva
de mucho si luego estas mismas empresas tienen que depender de servicios de terceros
108
Milio, S., Devenyi, V., Georgiev, S. & Pierrefeu, G. (2021). Op. Cit.
75
privados, al no tener los recursos internos necesarios. Sobre esta cuestión se profundizará
más adelante, analizando los aspectos a mejorar del Reglamento.
6. Cumplir con las obligaciones de registro
Antes de la introducción en el mercado o la puesta en servicio de un SAR contemplado en el

Anexo III del RIA (es decir, por motivos de posibles interferencias con los derechos
fundamentales), el proveedor deberá registrar dicho sistema en la base de datos de la UE
para sistemas de alto riesgo. Esta base de datos será constituida por la Comisión Europea y
la información será accesible al público.
El objetivo de la medida es que sea de conocimiento público el listado de empresas que

ponen en peligro la seguridad de los ciudadanos, además de permitir al ecosistema
empresarial conocer el estado de la técnica en materia de IA.
7. Seguimiento posterior
El Reglamento establece que los proveedores establecerán y documentarán un sistema de

seguimiento posterior a la comercialización en proporción a la naturaleza del SAR y a los
riesgos. Dicho seguimiento recabará y analizará la información proporcionada por los
implementadores y permitirá al proveedor evaluar si está cumpliento con los requisitos del
RIA. Además, como ya se ha adelantado, este seguimiento formará parte de la
documentación obligatoria.
Si bien la información en el Reglamento no es muy extensa, se establece que la Comisión

establecerán disposiciones detalladas más adelante que servirán un modelo para el plan de
seguimiento posterior a la comercialización y la lista de elementos que deberán incluirse en
él.
76
8. Elaborar y conservar toda la documentación
Además de la documentación técnica resumida en el Anexo III del presente estudio, se

añade más información que, junto a la documentación técnica, deberá conservarse durante
un periodo de 10 años a partir de la introducción del sistema en el mercado.
Esta documentación adicional es la relativa al SGC, a los cambios aprobados, decisiones y

otros documentos aprobados por los organismos notificados y a la declaración UE de
conformidad. Por tanto, existen cuatro bloques documentales que deberán custodiar las
empresas, resumidos en la siguiente figura.
Fig. 4: Documentación que deberán custodiar los proveedores de SAR
D. Códigos de conducta
Con el objetivo de fomentar que los proveedores de sistemas de IA que no se consideran

SAR cumplan de manera voluntaria con los requisitos para los SAR, al tratarse de medidas
que fomentan el respeto por los derechos fundamentales adaptadas a los sistemas de IA, la
77
Comisión y las autoridades supervisoras de los Estados fomentarán la elaboración de códigos
de conducta, los cuales podrán ser elaborados por los propios proveedores.
Dado que el cumplimiento de estos códigos será voluntario, estas directrices se convertirán
en un indicador de buenas prácticas dentro del mercado de la IA. Sin embargo, es
responsabilidad de las compañías que contraten a estas empresas y a los consumidores que
adquieran sus productos y servicios de que el cumplimiento con estos códigos tenga un valor
en el mercado. De lo contrario, las empresas no querrán destinar recursos económicos a
cumplir con requisitos que no les son de aplicación, si bien se lograría una mayor
armonización en el mercado y una protección mayor de los derechos fundamentales.
78
VIII. REQUISITOS DE TRANSPARENCIA PARA DETERMINADOS
SISTEMAS DE IA
Si bien el grueso de obligaciones del RIA se contempla para los SAR, hay que tener en cuenta
que para determinados sistemas de IA se exigen ciertas medidas de transparencia. Sin
embargo, el RIA no trata estos sistemas como un nivel más bajo de riesgo, ya que ser un SAR
y requerir de estas medidas adicionales no son cuestiones incompatibles. Pueden tratarse de
obligaciones cumulativas.
A continuación, se detallan los sistemas de IA que requieren de medidas de transparencia

adicionales.
1. Sistemas de IA destinados a interactuar con personas físicas
En caso de que el sistema interactúe con personas físicas, se estará obligado a informar a la
persona de que se está interactuando con un sistema de IA, excepto si esto resulta evidente
dadas las circunstancias y el contexto.
El Parlamento va un paso más allá y añade que, si es procedente y pertinente, habrá que
informar, entre otras cuestiones, de si existe vigilancia humana y de los derechos y procesos
existentes que permiten oponerse a que se les apliquen dichos sistemas y solicitar
reparación judicial contra las decisiones adoptadas por los sistemas de IA, incluido su
derecho a solicitar una explicación. Este añadido deriva de los artículos 68 a y 68 c
propuestos por el Parlamento que ponen el foco en los recursos de los que disponen las
personas físicas que utilizan estos sistemas, cuestión que hasta la propuesta del Parlamento
no fue contemplada y sobre la que se profundizará en el apartado de mejoras propuestas.
Sin embargo, esta obligación de transparencia está limitada a los casos en que efectivamente
se interactúe, y por tanto, no existirá la obligación de informar del uso de IA en los casos en
que se utilice IA para la toma de decisiones, pero sean comunicadas a al ciudadano
mediante otra plataforma distinta o mediante una persona de la organización.
79
2. Sistemas de reconocimiento de emociones o de un sistema de categorización
biométrica
De nuevo, estos sistemas tendrán que informar de que el usuario final está siendo sometido
a un reconocimiento de emociones o categorización biométrica, si bien hay que tener en
cuenta que en la versión del Parlamento se han prohibido la gran mayoría de esta tipología
de sistemas de IA.
3. Sistemas de IA que generen ultrafalsificaciones (deepfakes) que puedan inducir

erróneamente a una persona a pensar que son auténticos o verídicos
Uno de los mayores riesgos que ha acarreado la IA es la generación de deepfakes que ponen
en peligro la emisión de información veraz a la población. Es por ello, que el RIA establece
que estos sistemas tendrán que informar que el contenido ha sido generado de manera
artificial.
Es importante remarcar que a día de hoy, si bien no es obligatorio, muchas empresas ya

practican buenas prácticas empresariales en relación al uso de la IA, como Twitter que ha
habilitado un aviso de que un tweet se ha generado automáticamente109.
Growth
Como el sistema de IA de Growth interactúa con personas físicas (estudiantes y

profesorado), a primera vista parece que deberá incluir un banner que informe del uso de
un sistema de IA. Sin embargo, toda la plataforma interactiva de Growth hace constante
referencia al uso de inteligencia artificial para extraer sus conclusiones, y la respuesta
inmediata que da el sistema a partir de la información aportada por los cuestiones hace
evidente el uso de una automatización. Por tanto, en el caso de Growth podría legalmente
prescindirse de este aviso, si bien sería recomendable hacer una mención informativa de
ello.
109
Edwards, L. (2022). The EU AI Act: a summary of its significance and scope. Op. cit
80
IX. MEDIDAS DE APOYO A LA INNOVACIÓN
1. REGULATORY SANDBOX
El RIA contempla la implementación de espacios controlados de pruebas para los sistemas

de IA sujetos al Reglamento (llamados “sandbox” o caja de arena en inglés). El objetivo es
que las autoridades puedan observar e identificar los problemas que puedan surgir de la
aplicación práctica del Reglamento, antes de que este sea de aplicación y poder así elaborar
guías de cumplimiento y de buenas prácticas.
El procedimiento consistirá, a grandes rasgos, en cumplir con todos los requisitos del RIA y
realizar una autoevaluación interna, que luego será revisada por las autoridades, que
emitirán una resolución favorable o no (que podrá ser subsanada en el plazo de tres meses).
El Parlamento propone que los procesos de registro sean sencillos para fomentar la
participación de PYMES y startups y que el acceso a estas plataformas sea gratuito para estas
empresas. Sin embargo, esta última cuestión ha sido ignorada por el Real Decreto que regula
el sandbox en España, el cual se mencionará a continuación. Además, como otro incentivo a
la participación, el Parlamento propone que completar las pruebas y obtener un resultado
favorable implique una presunción de cumplimiento con los requisitos del Reglamento (en
cambio el Consejo propone que sea una manera de reducir la información que deba
aportarse en el procedimiento de evaluación de conformidad). Esto proporcionará un
“confort regulatorio”110 a los operadores del mercado, que podrán tener garantías de que
cumplen con los requisitos de manera adecuada.
Sin embargo, España, que ya disponía de un sandbox en materia fintech111, ya ha aprobado

el Real Decreto 817/2023112 que regula el sandbox español para los proveedores y usuarios
de sistemas de alto riesgo, modelos fundacionales y de uso general que residan fiscalmente
en España. Este Real Decreto es una norma definitiva, que emana de una norma que aún no
lo es, implicando irregularidades entre los dos textos, principalmente en materia de
110
111
Previsto en la Ley 7/2020, de 13 de noviembre, para la transformación digital del sistema financiero.
112
Consejo de Ministros. (8 de noviembre de 2023). Real Decreto 817/2023, de 8 de noviembre, que establece
un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta de Reglamento del
Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia
artificial. https://www.boe.es/eli/es/rd/2023/11/08/817
81
definiciones. Además, si bien el Parlamento ha propuesto la introducción de una presunción
favorable para los participantes en el sandbox, el Real Decreto ha establecido en el artículo
13.10 que la superación de los requisitos no tendrá ningún efecto más allá del entorno
controlado. Este artículo, en conjunción con el artículo 17.1 del Real Decreto que
responsabiliza a los participantes de cualquier daño a terceros si incumplen con los
requisitos, cuando aún hay muchas dudas de cómo deberán cumplirse, puede desmotivar a
los participantes en este sistema. De participar, las empresas asumirían demasiado riesgo,
para una recompensa limitada, más si se trata de una empresa emergente con recursos
limitados.
2. MEDIDAS ESPECIALMENTE DIRIGIDAS A STARTUPS Y PYMES
El Reglamento contempla un artículo con medidas especialmente dirigidas a startups y

PYMES, resumidas a continuación.
1. En relación al espacio controlado de pruebas, se establece que estas empresas tendrán

un acceso prioritario al sandbox, siempre y cuando cumplan los requisitos de
admisibilidad. Sin embargo, el Real Decreto 817/2023 anteriormente comentado,
únicamente prevé, entre otros 13 criterios adicionales, que se valorará positivamente la
condición de startup o PYME.
2. Establecer, cuando proceda, un canal específico de comunicación con este tipo de

empresas para orientar y responder dudas acerca de la aplicación del RIA. Sin embargo,
el elemento de procedencia puede jugar en detrimento de este tipo de empresas, ya que
no se establece como un imperativo legal.
3. Organizar actividades de sensibilización acerca de la aplicación del RIA adaptadas al

presente Reglamento.
4. Reducción de las tasas para la evaluación de conformidad en proporción a su etapa de

desarrollo, a su tamaño y a la demanda de mercado. El Parlamento añade que la
Comisión deberá evaluar periódicamente “los costes de certificación y cumplimiento”
para startups y PYMES, y “colaborará con los Estados miembros para reducir dichos
82
costes en la medida de lo posible”. De nuevo, el elemento de posibilidad quita valor de
ejecutabilidad a esta reducción, cuestión que se comentará más adelante.
83
X. DISEÑO DE UN PLAN DE ACCIÓN PARA EMPRESAS
EMERGENTES QUE USEN SISTEMAS DE IA
Después de analizar las obligaciones que son de aplicación a los SAR, y analizar las
implicaciones que tendrían para las empresas, concretamente para el caso de Growth, es
conveniente elaborar un plan de acción con las medidas que pueden tomar las empresas,
para así mitigar los costes en cumplimiento del futuro.
Estos pasos o recomendaciones están elaboradas en un momento regulatorio concreto, esto

es antes de que se haya aprobado un texto definitivo para el Reglamento de IA y antes, por
tanto, de la aplicación de este Reglamento. Sin embargo, tal como se detallará a
continuación, esto no tiene que ser impedimento para la toma de medidas.
1. Identificar si se están utilizando SAR o sistemas de IA especiales en la organización

empresarial y mitigar los riesgos.
Puede resultar evidente, pero el primer paso que una empresa deberá llevar a cabo es
determinar si se encuentra sujeta al cumplimiento del RIA al proveer, importar o
implementar un SAR (o un sistema de IA especial que requiere de medidas adicionales de
transparencia).
Ya se ha reiterado a lo largo del trabajo que los proveedores son los sujetos que sufren el
peso de la mayoría de obligaciones en el Reglamento. Si bien, las empresas que actúan como
implementadoras de estos sistemas (por ejemplo, las escuelas o centros de trabajo que
utilizan el software de Growth) también deberán dar cumplimiento a ciertas obligaciones
como: utilizar los SAR acorde a las instrucciones aportadas por el proveedor, introducir datos
adecuados o mantener los registros obligatorios (logs).
Para tomar conciencia de la sujeción al RIA es fundamental conocer la estructura

organizativa de la empresa y tener todos los procesos documentados. La implementación de
la ISO 27001 sobre Gestión de seguridad de la información puede facilitar la identificación
de estos procesos. Esto es de suma importancia ya que muchas empresas no son
conscientes de todas los sistemas de IA que están siendo usados en su organización, y que
84
de considerarse de alto riesgo, deberán formar parte del compliance de la empresa. Por
ejemplo, una empresa podría ser implementadora de un software de gestión de
candidaturas que utiliza inteligencia artificial para clasificar los currículums en un orden de
prioridad concreto (esto podría ser potencialmente un SAR en virtud del artículo 6 del RIA).
Además, es importante recordar a las empresas que el hecho de que de no considerarse de

alto riesgo, no significa que no puedan cumplir con los requisitos del RIA, ya que los códigos
de conducta podrán aportar valor y reconocimiento en el mercado a estas empresas.
2. No posponer el cumplimiento a la entrada en vigor del Reglamento
Algunas empresas, ya conocedoras de su sujeción al Reglamento, optarán por mantenerse a

la espera de que entre en vigor el Reglamento de IA. Muchas otras aguardarán además a
que sea de aplicación el Reglamento (previsto en 2025). Esta estrategia de wait and see
tiene como único beneficio ser normativamente prudencial, ya que solo cuando se acerque
la fecha de aplicación del Reglamento se dispondrá de toda la información útil para conocer
el modo de cumplimiento de las obligaciones del Reglamento. Sin embargo, lo prudencial en
este caso no es lo más eficiente, por múltiples razones.
(i) La primera, viene dada por la propia naturaleza de la tecnología. Los sistemas de IA
aprenden a velocidades vertiginosas y muchas veces se desconoce lo que ocurre dentro de
estos sistemas (lo que ya se ha introducido como efecto de caja negra). Por tanto, si en la
actualidad se entrenan estos sistemas de alto riesgo con datos que incumplen el artículo 10
del RIA, es decir, que no han sido obtenidos con las debidas garantías, o que contienen
sesgos, la evolución del sistema pasados dos años será totalmente incompatible con los
requisitos del Reglamento, y será materialmente imposible depurar los resultados del
sistema de cualquier influencia de estos datos incompatibles con el Reglamento.
(ii) El segundo motivo por el cual es indispensable actuar de manera inmediata es la

inviabilidad de un cambio de modelo de negocio en fases posteriores del plan de
crecimiento de una empresa113. Por ejemplo, imaginemos que una startup que usa IA
actualmente basa su modelo de negocio en elaborar rankings de trabajadores en función de
113
Fennessy, C. (2 de agosto de 2023). Op. Cit.
85
una evaluación semanal que otorgan el resto de compañeros. Dependiendo de las
consecuencias que deriven de este ranking, este sistema estará prohibido o no al poder
tratarse de una tipología de social scoring con consecuencias desproporcionadas, si por
ejemplo, este ranking determinara el despido o la reducción salarial del trabajador. En
cambio, si la clasificación permitiera acceder a beneficios, como códigos de descuento o
cheques regalo, podría considerarse un sistema de alto riesgo, y conservar su viabilidad en el
nuevo entorno regulatorio. Si la empresa actualmente comercializa su producto como un
sistema eficiente que ayuda a determinar la continuidad de un trabajador en la empresa,
después resultará muy dificultoso conservar los clientes y asegurar la continuidad de la
empresa si hay que cambiar el modelo (además, según el Parlamento, si esta empresa reside
en Europa ni siquiera podría comercializar su sistema fuera del ámbito europeo).
(iii) El tercer motivo que motivaría a aplicar el Reglamento anticipadamente es que cualquier
esfuerzo documental, organizativo o económico para adaptarse al Reglamento, no será en
vano. Si bien una vez entre en vigor oficialmente el Reglamento deberá comprobarse que la
versión final es compatible con los esfuerzos realizados, los cambios de la versión final serán
mínimos respecto los proyectos presentados.
(iv) Por último, la cuarta razón es obtener una ventaja competitiva respecto a las demás
empresas. Aplazar el cumplimiento de la normativa únicamente conllevará gastos
adicionales al necesitar mayor velocidad en el cumplimiento y disponer de menos recursos y
más costosos para ello, ya que habrán muchas otras empresas que también necesitarán esos
recursos (personal especializado en IA, auditorías, planes empresariales, etc.). Es por ello,
que de cara a la aplicación del futuro Reglamento, y de cara a los inversores, pasar a la
acción ahora reportará mayor seguridad jurídica y beneficios económicos.
3. Tener la información documentada y bien categorizada, sobre todo de cara a procesos

de due diligence en procesos de M&A
Numerosas empresas emergentes son adquiridas por empresas de mayor tamaño o por
fondos de inversión, y para ello, deben cumplir con un proceso de diligencia debida,
comúnmente conocido como due diligence.
86
En los procesos en los que se adquiera una empresa que basa su modelo de negocio en un
sistema de IA será esencial poder probar a la entidad compradora que el sistema cumple con
los requisitos establecidos en el RIA en la actualidad, ya que aunque actualmente no sea de
aplicación, las adquisiciones únicamente se completarán si puede asegurarse la continuidad
y legalidad del negocio en el futuro.
Los compradores querrán respuestas a las preguntas ya planteadas en el apartado sobre el

requisito de disponer de datos adecuados, cómo de dónde provienen los datos y si se han
realizado esfuerzos para eliminar el sesgo de estos datos y también querrán asegurar el
cumplimiento con el RIA en general. Además, también será relevante definir de manera
adecuada los derechos de Propiedad intelectual respecto del código del sistema de IA, o
poder probar una efectiva protección del sistema de IA mediante la figura del secreto
empresarial.
4. Disponer de un fondo económico para el cumplimiento
Un estudio de la Comisión114 ha cuantificado los costes laborales, de servicios externos y

costes de supervisión para el cumplimiento del Reglamento en 29.277 euros anuales115.
Estos datos, si se trasladan al mercado, y se asume que solo un 10% de los sistemas de IA
estarán considerados SAR, se estima que generará un coste global en compliance de entre
1.6 billones y 3.3 billones de euros para 2025.
Este estudio no está exento de críticas. Hay autores que estiman que el coste será mayor,
como el informe del Center for data innovation que prevé reducciones de los beneficios del
40%116 o un estudio que establece que la cuota 10% de cuota de mercado que ha
establecido la Comisión no coincide con el 33%-50% cuantificado en una encuesta a más de
114
Milio, S., Devenyi, V., Georgiev, S. & Pierrefeu, G. (2021). Op.Cit.
115
A un sueldo la hora de 32 euros y partiendo de un sistema de IA base cuantificado en 170.000 euros en
costes de desarrollo.
116
Mueller, B. (2021). How much will the Artificial Intelligence Act cost Europe? Center for Data Innovation.
https://www2.datainnovation.org/2021-aia-costs.pdf
87
100 startups117. Hay otros que consideran que el cálculo de la Comisión es
desproporcionado, como el estudio realizado por Intellera Consulting118.
Sin embargo, los costes que supondrán el Reglamento de Inteligencia Artificial no terminan
con este, ya que la Comisión ya ha propuesta la creación de una Directiva en materia de
responsabilidad de productos de IA119, que acarreará nuevas obligaciones, focos de riesgo y
la contratación de un seguro obligatorio de responsabilidad.
El objetivo de este trabajo no es determinar una horquilla que cuantifique los costes en
compliance que podrán generarse. Además, ya se ha visto con la experiencia del RGPD que
intentar cuantificar el impacto de una normativa tan amplia como esta, es una tarea
imposible120, al confluir demasiados factores variables. Sin embargo, lo relevante son las
expectativas de los operadores, y es que gracias al estudio de mercado mencionado121, se ha
podido demostrar que un 16% de empresas se plantean reubicarse fuera de la UE con la
entrada en vigor de esta nueva regulación. Además, casi un 79% de 15 Venture Capitals
encuestadas prevén que la competitividad de las startups baje, y que por tanto, la inversión
disminuya en este sector, provocando problemas de flujo de capital para estas startups.
Esto no significa que el Reglamento no deba aprobarse o no sea eficiente, ya que existen
muchos más parámetros a tener en cuenta además de los ingresos de las empresas, como es
la seguridad física y jurídica, los derechos fundamentales de los ciudadanos o la creación de
un nuevo estándar internacional122. Sin embargo, no puede ignorarse que estos esfuerzos
requieren disponer de fondos suficientes para afrontar los costes.
117
appliedAI Initiative. (2022). Op. Cit.
118
Pellegrino, M., Mancini, S., Gerardi, E. & Mumeni, I. (2022). The AI Act: Help or Hindrance for SMEs? Intellera
Consulting.
https://www.intelleraconsulting.com/documents/42559/59109/AIactpaper_v16_singola_web.pdf/21ea39c2-7
b26-7115-5266-a49e8875e7be?t=1668448362037
119
Madiega, T. (2023). Artificial intelligence liability directive. European Parliament.
https://www.europarl.europa.eu/RegData/etudes/BRIE/2023/739342/EPRS_BRI(2023)739342_EN.pdf
120
Mueller, B. (9 de abril de 2022). A New Study Lays Bare the Cost of the GDPR to Europe’s Economy: Will the
AI Act Repeat History? Center for Data Innovation.
https://datainnovation.org/2022/04/a-new-study-lays-bare-the-cost-of-the-gdpr-to-europes-economy-will-the-
ai-act-repeat-history/
121
appliedAI Initiative. (2022). Op. Cit.
122
Mundell, I. (10 de enero de 2023). The Ecosystem: sprawling AI Act may deprive European start-ups of
investment. Science Business.
https://sciencebusiness.net/news/ecosystem-sprawling-ai-act-may-deprive-european-start-ups-investment
88
De manera esporádica, el Reglamento menciona en sus tres versiones ciertas reducciones
económicas para startups y PYMES, como la propuesta del Consejo de reducir a la mitad las
sanciones para este tipo de empresas, o la propuesta del Parlamento de tener en cuenta los
intereses de estas empresas a la hora decidir las tasas para la evaluación de conformidad.
Sin embargo, estas medidas no son suficientes para las pequeñas empresas que verán
reducidos sus incentivos para implementar sistemas innovadores de IA al no poder afrontar
el riesgo que supone dichas sanciones, aunque sean reducidas123.
Por último, además de la retirada del mercado de algunas empresas, las restricciones de
capital también tendrán como consecuencia directa el aumento de adquisiciones de
pequeñas empresas por parte de grandes empresas que pueden afrontar estos riesgos,
influyendo en la creación de monopolios tecnológicos los cuales tienen un mayor impacto
en los derechos fundamentales de los ciudadanos y en las relaciones de mercado.
5. Recabar financiación y apoyo externo de hubs e inversores
De la misma manera en la que las estructuras organizativas se han adaptado a los requisitos
del RGPD, con la designación de delegados de protección de datos (DPO) y la introducción
de una perspectiva de datos en todos los procesos by design, las empresas sujetas al RIA
también verán transformadas sus funciones.
Las organizaciones deberán elaborar un proyecto, que formará parte del Sistema de gestión
de calidad, incluyendo la designación de expertos en materia de IA y desarrollar un marco
estratégico. Dado que esto conllevará un incremento sustancial en costes de reorganización,
personal, gestión de datos y burocracia, se prevé que gran parte del apoyo o inversión
económica para afrontar estos gastos provenga de hubs tecnológicos124 o inversores de
venture capital125.
Es por ello, que es recomendable que las startups centren sus esfuerzos en monitorear las
iniciativas que se desarrollarán los próximos años para poder obtener recursos adicionales,
tanto económicos como de orientación normativa con profesionales cualificados. Sin
123
124
Pellegrino, M., Mancini, S., Gerardi, E. & Mumeni, I. (2022). Op. Cit.
125
89
embargo, para ello será requisito indispensable disponer de una buena tarea organizativa
previa para así poder disponer de toda la documentación necesaria para poder optar a estos
programas.
Adicionalmente, la participación en los sandbox europeos será otra fuente de conocimiento

que garantizará seguridad jurídica a los operadores, si bien el cumplimiento deberá ser
financiado con recursos propios.
90
XI. RECOMENDACIONES NORMATIVAS
El último apartado de este estudio se centra en el desarrollo de recomendaciones a la

normativa provisional que se han introducido a lo largo del estudio. Las propuestas se
detallan a continuación.
1. Sobre la ausencia de mención a los grandes operadores tecnológicos
Tal como se ha reiterado a lo largo del trabajo, el objetivo del Reglamento de Inteligencia
Artificial es garantizar la seguridad y los derechos fundamentales de los ciudadanos
europeos en el uso de sistemas de inteligencia artificial que suponen un riesgo. La
consideración de “alto riesgo” está vinculada en el Reglamento a la finalidad prevista del
sistema en concreto, si bien este criterio ha quedado desfasado con la introducción de
sistemas de uso general y de modelos fundacionales.
Sin embargo, el Parlamento en la definición del término “riesgo significativo” lista la

siguiente combinación de sus causas: gravedad, intensidad, probabilidad de ocurrencia,
duración y capacidad de afectar a un grupo determinado de personas. Partiendo de este
listado, el alcance que tenga un sistema de IA en términos cuantitativos, es decir, el número
de ciudadanos que puedan resultar afectados por el sistema, está directamente relacionado
con la intensidad, la probabilidad y la capacidad de afectar un grupo de personas (como
podrían ser los usuarios de una red social). Es decir, que una plataforma que use IA tenga un
número significativo de usuarios, tendría que ser un elemento a tener en cuenta a la hora de
decidir si un sistema constituye un alto riesgo para la sociedad, y sin embargo, el
Reglamento no hace referencia a ello.
Como contra argumento, hay quien podría plantear que es irrelevante para los derechos
fundamentales que un gran número de individuos usen un sistema, si este no supone ningún
riesgo. Pero esto no es cierto por dos razones. La primera, es que los riesgos, por su propia
naturaleza, son inciertos en el tiempo. Un sistema puede parecer muy seguro sobre el papel,
pero en la práctica siempre existirá la posibilidad de que se produzcan sesgos, incidentes de
ciberseguridad o manipulación, si no se disponen de medidas de seguridad. Por otro lado, la
propia naturaleza de la inteligencia artificial la hace intrínsecamente impredecible, oscura y
91
evolutiva, dificultando la previsión de estos riesgos. Por estas dos razones no podemos
confiar en una supuesta seguridad en modelos generalizados.
En consecuencia, por la propia definición de “riesgo significativo” y por la naturaleza de los

riesgos y de la IA, el baremo del riesgo no puede ser el mismo para sistemas de uso reducido
que para sistemas con una gran capacidad de alcance. Instagram, únicamente en Europa,
disponía de 250 millones de usuarios en 2022126, y sin embargo, al usar el sistema de IA
como recomendador de contenidos, no está sujeto a ninguna obligación en el Reglamento
(salvo de transparencia). Si bien, el impacto sobre los derechos fundamentales que tenga un
sesgo en su sistema, es incomparable al de una pequeña startup destinada a ser usada por
empresas. De manera simbólica, podría visualizarse el fuego como una vulneración a los
derechos fundamentales. No tiene las mismas consecuencias un incendio dentro de una
habitación ignífuga (sistemas con pocos usuarios), que una chispa en un bosque árido en
pleno verano donde las consecuencias son imparables y devastadoras (sistemas con
multitud de usuarios).
Este razonamiento es el que se usa en Derecho de la competencia, que sólo mediante la

acreditación de un posición de dominio en el mercado, pueden darse conductas
anticoncurrenciales. Sin embargo, la era digital ha impulsado la magnitud de estas
posiciones de dominio, y se han requerido nuevas herramientas normativas como el
Reglamento de Mercados Digitales (más conocido por sus siglas en inglés, DMA), que regula
la posición de poder que tienen ciertos grandes operadores en el mercado (gatekeepers)
para proteger los derechos de los consumidores y promocionar la innovación en el sector.
Esta argumentación puede ser también trasladada a la inteligencia artificial. El impacto que
puede tener un riesgo se ve profundamente influenciado por el uso de sistemas digitales de
largo alcance, y por tanto, debe adoptarse la perspectiva cuantitativa a la hora de evaluar un
riesgo. Es por ello, que se recomienda la inclusión de una figura parecida al gatekeeper de la
DMA, que de cumplir los umbrales de (i) volumen de negocios, (ii) número de usuarios y (iii)
permanencia en el tiempo, deban ser sujetos a las mismas obligaciones que los sistemas de
IA de alto riesgo designados por su finalidad. Además, esta inclusión no mermaría la
126
Alcalde, L. (17 de febrero de 2023). ¿Cuántos usuarios mensuales tienen TikTok, Facebook, YouTube o
Instagram en Europa? Estos son los primeros datos oficiales. Business Insider.
https://www.businessinsider.es/usuarios-mensuales-activos-tiktok-instagram-facebook-google-apple-1202054
92
innovación, dado que estos sistemas disponen de un volumen de negocios suficiente para
afrontar los costes en compliance.
2. Sobre la ausencia de derechos y mecanismos de defensa de los ciudadanos
A diferencia del Reglamento General de Protección de Datos, donde la regulación se centra

en la persona física de la cual emanan los datos personales (el interesado) y sobre los
derechos y recursos de los que dispone este, el Reglamento de Inteligencia Artificial ni
siquiera define con un término a las personas físicas propietarias de los derechos
fundamentales que se pretenden proteger. Las versiones de la Comisión y del Consejo
emplean el término “usuario” para referirse a las personas físicas o jurídicas que
implementan un sistema de IA dentro de su organización, pero no se trata de la persona
física que interactúa con el sistema. De hecho, el Parlamento ha decidido sustituir el término
“usuario” por “implementador”, a raíz de las confusiones que podría causar la denominación
de usuario. Por tanto, se recomienda la introducción de un término que defina a los
ciudadanos que sufren las consecuencias de estos sistemas, como “ciudadanos afectados” o
“usuarios” (manteniendo el término de “implementador” propuesto por el Parlamento).
Además, sólo el Parlamento ha contemplado la introducción de dos artículos (68 a y 68 c del

RIA) que hacen referencia a los recursos judiciales de los que disponen las personas que
interactúan con estos sistemas y de su derecho a obtener una explicación en caso que una
decisión sea tomada mediante IA. El hecho de que únicamente haya sido propuesto en una
de las tres versiones suscita dudas de la supervivencia de dicha propuesta, y pone de
manifiesto la carencia de una visión más centrada en el principal afectado por el uso de
sistemas de inteligencia artificial de alto riesgo, que son los ciudadanos.
Además, la obligación que se impone a los sistemas que interactúan con personas físicas de
advertir de que se está tratando con un sistema de IA es insuficiente. Ya que, siempre y
cuando el sistema no interactúe directamente con la persona física, no existirá la obligación
de hacer referencia de ello. En consecuencia, sistemas de alto riesgo, como los sistemas de
social scoring, sistemas que deciden sobre la adjudicación de ayudas o sistemas utilizados en
sitios de trabajo, en los que medie una persona de la organización entre el sistema de IA y la
persona física afectada por el sistema, no deberá informarse de la utilización de sistemas de
93
IA. Además, el artículo 13 del Reglamento sobre requisitos de transparencia de los sistemas
de alto riesgo, únicamente impone obligaciones de transparencia hacia los implementadores
del sistema, pero no a la persona física afectada por estos sistemas.
En consecuencia, el artículo 68 c propuesto por el Parlamento que reconoce el derecho de

las personas físicas afectadas por decisiones basadas en sistemas de IA queda totalmente
vacío en los casos de que no exista interacción con la persona física, ya que no existe una
obligación de informar de que la decisión ha sido tomada en arreglo a un sistema de IA.
3. Sobre la flexibilidad de las medidas propuestas para promover la innovación
Como ya se ha avanzado en el apartado que analiza las medidas en favor de la innovación, su

redactado favorece el descuido de su cumplimiento por parte de los operadores. El añadido
de frases como “cuando proceda” o “en la medida de lo posible” cuando se hace referencia
a las medidas destinadas a startups y PYMES limitan la obligatoriedad de estas, y permiten
su modulación en detrimento del crecimiento de estas empresas. Además, cabe mencionar
que únicamente la propuesta del Consejo ha propuesto la reducción de los límites sanciones
para startups y PYMES, mientras que el Parlamento únicamente ha propuesto que se tenga
en cuenta su condición como tal, pero sin establecer un límite inferior.
En caso que las ayudas y propuestas del sector público no resulten suficientes por la falta de
ejecutabilidad de estas, es probable que el sector privado tome las riendas del apoyo a estas
empresas, pudiendo esto materializarse de dos formas. En un primer lugar, como ya se ha
avanzado, mediante la creación de hubs tecnológicos y otros programas, o bien, en segundo
lugar, mediante la aportación de capital y adquisición de participaciones por parte de las
empresas dominantes del sector, resultando en la aparición de fuerzas monopolísticas en el
mercado.
Es por ello, que se recomienda en la versión final del Reglamento la inclusión de medidas
efectivas y obligatorias, que no den espacio a la reducción de estas por parte de los Estados
Miembros. También se recomienda la limitación específica de las sanciones para startups y
PYMES propuesta por el Consejo. Solo mediante la priorización de estos recursos se logrará
94
el fomento de la innovación a pesar de los esfuerzos en compliance que deberán realizar las
empresas emergentes.
Por último, en lo relativo a las medidas del sandbox del Reglamento de IA, se proponen dos
recomendaciones. En primer lugar, debería establecerse normativamente que el acceso de
startups y PYMES al entorno controlado de pruebas deba ser gratuito, tal como se menciona
en la versión del Parlamento. Sin embargo, el ya aprobado Real Decreto 817/2023 que
regula el sandbox de España, no contempla dicha posibilidad.
Por otro lado, y si bien de nuevo el Real Decreto 817/2023 ha previsto una exención
limitada, en lo relativo a la responsabilidad por daños que pueda surgir en el periodo de
pruebas, también debería adoptarse la versión del Parlamento que confiere un safe harbour
de responsabilidad a los participantes que ocasionen un daño a terceros, pero que hayan
actuado de buena fe y siguiendo las directrices de las autoridades organizadoras. De lo
contrario, como ya se ha establecido previamente, este foco de responsabilidad puede
desmotivar a participantes de menor tamaño en el sandbox.
95
XII. CONCLUSIÓN
En la introducción, se presentaba como objetivo del presente estudio identificar los

problemas, riesgos y oportunidades para empresas emergentes que puedan surgir a partir
de la aplicación del Reglamento de IA. Para ello, se ha abordado el estudio desde una
perspectiva tripartita que engloba el pasado, el presente y el futuro.
Antes del Reglamento de Inteligencia Artificial
El primer bloque de estudio se ha centrado en el estado de la técnica de la inteligencia

artificial hasta el momento y sobre lo que se han construido las distintas versiones del
Reglamento de Inteligencia Artificial. Para ello, se han definido aspectos como la
conceptualización de la inteligencia artificial, la identificación de los operadores de mercado
y las aplicaciones de estos sistemas, como se evidenciaba en el ámbito de la biometría.
En este análisis, se ha resaltado la importancia de la definición legal de «sistema de

inteligencia artificial» que se adoptará en la versión final del Reglamento. Su flexibilidad y
alcance, determinados simplemente por la inclusión o no de una palabra, puede determinar
el curso de la innovación en Europa. También son relevantes otros conceptos ya
mencionados, como son «sistema de de uso general» o «startup», que por el momento
carecen de una definición asentada.
La delimitación legislativa de todos estos conceptos en un entorno tecnológico tan

cambiante es esencial para aportar seguridad jurídica y limitar el impacto económico de la
nueva regulación. Sin embargo, por miedo a que las definiciones caduquen, el legislador
puede cometer el error de proporcionar definiciones amplísimas que abarquen más de lo
que la seguridad de los derechos fundamentales exigiría.
También se han mencionado los principios triangulares del Reglamento, que son la
seguridad de los ciudadanos, la promoción de la innovación, y la proporcionalidad, este
último como elemento relacional entre los dos primeros y responsable de que únicamente
se impongan obligaciones a los sistemas de alto riesgo.
Seguridad e innovación son dos fuerzas opuestas que deben estar en una proporción
adecuada para optimizar el uso de sistemas de inteligencia artificial. Para ello, el legislador
96
ha optado por configurar el Reglamento como un texto legislativo base de seguridad (esto se
concluye del amplio listado de obligaciones a los sistemas de alto riesgo y los puntos de
convergencia con el New Legislative Framework en materia de seguridad de productos) con
pequeños apuntes y medidas que contrarrestan los efectos perjudiciales sobre la innovación,
como son las medidas especiales para startups y PYMES o la creación de un sandbox, cuya
efectividad será valorada a continuación.
Las obligaciones que contempla el Reglamento de Inteligencia Artificial
Posteriormente, se ha llevado a cabo un minucioso análisis de los requisitos normativos que

se prevén actualmente en las distintas versiones del Reglamento y del impacto que podrán
tener en empresas emergentes, utilizando el caso de Growth para ilustrar las problemáticas
y oportunidades que puedan surgir de dichas disposiciones.
El primer punto de reflexión se centra en el gran volumen de obligaciones documentales

impuestas por el Reglamento a las empresas proveedoras de un sistema de alto riesgo. Si
bien es cierto que se prevé una reducción de la exhaustividad de dicha documentación para
empresas emergentes, se establece como requisito que la documentación aportada sea
equivalente a la requerida por el Reglamento, por tanto, evaporando la efectividad de dicha
medida que pretende aliviar la carga documental. Además, el testimonio de Growth ha
evidenciado una realidad para muchas empresas pequeñas: al no disponer de suficientes
recursos humanos internos, las tareas documentales se externalizarán a servicios legales o
de compliance externos, aumentando el gasto económico de estas.
Es innegable que documentar los procesos es esencial para garantizar la transparencia,

control y la responsabilidad en el desarrollo de sistemas de IA, pero la falta de explicabilidad
de los sistemas de IA actuales es un impedimento a la efectividad de dicha documentación y
a la comprensión de los datos utilizados. La naturaleza opaca de muchos algoritmos de IA,
especialmente aquellos basados en redes neuronales profundas, hace que la documentación
detallada no sea sinónimo de comprensión. La paradoja radica en que, a medida que se
exige una mayor documentación, la brecha en la explicabilidad de estos sistemas podría
ampliarse, generando un desafío importante en la capacidad de las empresas para
comprender y explicar el funcionamiento interno de sus soluciones.
97
Por todo esto, para proteger los derechos fundamentales de los ciudadanos sería más
efectivo un incremento en la inversión pública y privada en sistemas con capacidad
explicativa, en vez de exigir niveles inabarcables de documentación potencialmente errónea.
Otra obligación nuclear del Reglamento de Inteligencia Artificial es el procedimiento de la

evaluación de conformidad, cuestión que ha sido adoptada de otros textos normativos como
de la seguridad de juguetes, medios de transporte o las máquinas. Esta evaluación de
conformidad se contempla como un proceso que deberá llevarse a cabo internamente por la
mayoría de sistemas de alto riesgo y que únicamente será sometida a un control posterior
por parte de las autoridades. Por tanto, deviene una extensión adicional del requisito de
documentación que, de nuevo, será externalizada por las empresas con recursos limitados,
mientras que las grandes empresas podrán internalizar este proceso en el departamento de
compliance o similar.
El principal problema de esta evaluación interna sin control externo es que, por un lado,
implica la utilización de recursos empresariales para documentar su realización, pero por
otro, no aportará resultados objetivos y seguros, ya que las empresas pecarán de
sobreconfianza en sus propios sistemas y además habrá una mayor posibilidad de
ocultamiento de incumplimientos (tal como ocurre con las declaraciones responsables en
materia administrativa).
Por otro lado, tal como se ha mencionado, el Reglamento, consciente de las limitaciones
económicas de estas empresas y de su papel clave en el tejido innovador, incluye ciertas
ayudas u oportunidades para startups y PYMES. Sin embargo, la fachada no siempre refleja
la auténtica sustancia, y es que muchas de estas medidas se proyectan como posibilidades, y
no como imperativos legales a las autoridades.
Por ejemplo, en relación a la normativa del sandbox español, esta incluye la condición de
startup como uno de los once otros elementos a tener en cuenta para valorar la solicitud de
participación, y en ningún momento se hace mención a un acceso gratuito para estas
empresas, si bien el Parlamento propone esta posibilidad. Otro caso es el de medidas como
la reducción de tasas para estas empresas o el establecimiento de canales de comunicación
directos con las autoridades, que se plantean como opciones, pero no se establecen como
requisitos obligatorios a cumplir por parte de los organismos.
98
En resumen, las obligaciones contempladas en el Reglamento serán inasumibles con los
recursos limitados de las empresas emergentes y las medidas compensatorias resultarán
ineficaces por su falta de ejecutabilidad. Además, también tiene que tenerse en cuenta el
impacto psicológico que tiene la aprobación de esta farragosa normativa sobre los
emprendedores e inversores, tal como se ha demostrado en los estudios mencionados en el
trabajo. Esto conllevará daños irreparables al tejido innovador emergente, especialmente
considerando el avance contundente de potencias como Estados Unidos o China en la
carrera de la inteligencia artificial.
Para garantizar la seguridad y fomentar la innovación, es imperativo considerar ayudas

económicas reales que fomenten y asuman el coste del desarrollo seguro de nuevos
sistemas de IA, y evitar que se vean ahogadas en burocracia, que no soluciona por completo
los riesgos que suponen los sistemas de IA opacos. Hay que invertir en avances tangibles,
seguros y éticos, no en justificar una realidad que incluso los técnicos tienen dificultades en
comprender.
Recomendaciones de cara a futuro
Finalmente, en lo que respecta al futuro, se han listado iniciativas proactivas que deberían
ser adoptadas por estas empresas y se han formulado recomendaciones legislativas con el
objetivo de establecer un marco normativo seguro, innovador y equitativo.
Las iniciativas dirigidas a startups y PYMES se conciben como una guía de actuación que
debe ejecutarse en la actualidad, sin esperar a que el Reglamento sea ejecutable. Como se
ha señalado anteriormente, es esencial disponer de un plan que abarque tanto el modelo de
sistema de IA que pretenda comercializarse, asegurándose de su legalidad con el
Reglamento, como disponer de un fondo económico y capital humano que afronte los costes
de compliance. Además, con la reciente publicación del Real Decreto 817/2023 que regula
el sandbox español y con las ayudas que irán concediéndose a empresas emergentes
innovadoras es esencial que estas empresas monitoreen todas las iniciativas a las que
puedan sacar partido.
Por otro lado, en relación a las propuestas legislativas dirigidas a los órganos europeos, se
trata de tres cuestiones que deben ser mejoradas en el texto definitivo. En primer lugar, la
99
consideración del tamaño de los proveedores de los sistemas de inteligencia artificial al
determinar su nivel de riesgo por su potencial vulneración masiva a derechos
fundamentales. En segundo lugar, reconocer el rol principal de los ciudadanos afectados por
los sistemas de IA de alto riesgo en el texto legislativo y crear mecanismos de actuación
efectivos para defender sus derechos. Por último, convertir en obligatorias las medidas
contempladas para ayudar a startups y PYMES.
Conclusiones
Después del análisis, puede concluirse que el Reglamento de Inteligencia Artificial emerge
como una respuesta legislativa crucial para mitigar los riesgos inherentes del despliegue de
sistemas inteligentes, con implicaciones inescapables en los procesos innovativos. El futuro
tecnológico en Europa no dependerá del Reglamento de Inteligencia Artificial, sino de la
inversión pública y privada en sistemas de IA, poder computacional y talento.
Es cierto que el Reglamento aportará seguridad y confianza a los ciudadanos, además de

potencialmente convertirse en un nuevo estándar mundial mediante el efecto Bruselas, pero
no debe olvidarse que el papel no lo sostiene todo. Si los sistemas no son efectivamente
transparentes, las obligaciones documentales que impone el Reglamento únicamente
crearán un sesgo de confianza en la transparencia del sistema.
100
ANEXO I
Ámbito territorial del RIA en función de la tipología de operador
Operador Establecido/presencia física en la UE Establecido fuera de la UE
Consejo, Comisión y Parlamento: Siempre aplica a los que introduzcan en el mercado

sistemas de IA en la Unión o que la información de salida generada por el sistema se
utilice en la Unión.
Parlamento: también aplicará si por Derecho internacional público (DIP) debe aplicarse el
Proveedor Derecho de la Unión Europea (DUE).
Parlamento: también aplicará a los

proveedores que introduzcan fuera de la
-
Unión un sistema prohibido por el
Reglamento
Solo aplica si están establecidos en la

Importador No aplica.
UE127.
Consejo y Comisión: el RIA siempre aplica, independientemente del lugar de

establecimiento del distribuidor.
Distribuidor
Parlamento: solo aplica si están Parlamento: por definición, no aplica si no
establecidos en la UE están establecidos en la UE
Solo si la información de salida generada

Implementador Siempre aplica por el sistema se utilice en la Unión + si
aplica el DUE por DIP (según Parlamento)
Consejo y Comisión: el RIA siempre aplica, independientemente del lugar de

establecimiento
Representante
autorizado
Parlamento: solo aplica si están Parlamento: por definición, no aplica si no
establecidos en la UE están establecidos en la UE
127
Si bien el Parlamento es el único que específica en el artículo 2 (ámbito de aplicación) que únicamente
aplicará a los importadores establecidos en la UE, los textos de la Comisión y el Consejo de la UE, ambos
definen a los importadores como entes establecidos en la UE, por la lógica de que debe importarse la
marca/sistema de una entidad establecida fuera de la UE. En consecuencia, se limita a los importadores
establecidos en la UE.
101
ANEXO II
Clasificación de sistemas de alto riesgo (SAR)
Comisión Consejo Parlamento
1a Sistemas de identificación biométrica y categorización (en tiempo real y en diferido)
Sistemas para extraer

conclusiones sobre las
características personales a
Biometría
1a partir de datos biométricos,
No previsto
bis incluidos los sistemas de
reconocimiento de emociones
(salvo los sistemas de
verificación biométrica).
Infraestructur Sistemas de seguridad en la gestión y funcionamiento de infraestructuras críticas

2a
as esenciales (digitales, transporte, suministro de agua, gas, calefacción y electricidad)
Sistemas para determinar (o también influir, según el Parlamento) en el acceso de

3a
personas a los centros y programas educativos o de formación profesional
Sistemas para evaluar a estudiantes y a candidatos para centros de educación. El

3b Consejo añade que incluso si dichos resultados se utilizan para orientar el proceso
Educación y de aprendizaje
formación
profesional Sistemas para seguir y
detectar comportamientos
3b prohibidos de los estudiantes
No previsto
bis durante los exámenes
educativos o de formación
profesional
Sistemas para seleccionar y contratar personas que publiquen anuncios de empleo,

4a
filtren las solicitudes de empleo y evalúen a los candidatos
Empleo Sistemas para decidir (o según el Parlamento, que influyan en) la iniciación,
promoción y resolución de relaciones laborales, para la asignación de tareas
4b
(basándose en la conducta) y para la evaluación del rendimiento y la conducta de los
trabajadores
Sistemas usados por las autoridades públicas para evaluar la admisibilidad de

5a
acceder a servicios públicos, o retirarlos
Acceso y Sistemas para evaluar la solvencia de personas físicas

disfrute de 5b
servicios Salvo si se trata de una micro o pequeña empresa y Salvo si se utilizan para
públicos y es para uso propio detectar fraudes financieros
privados
5c Sistemas para el envío de servicios de emergencia (como bomberos y ambulancias)
esenciales y
sus beneficios
Sistemas para tomar decisiones en el caso de los
5c seguros de vida y de salud.
No previsto
bis
102
Salvo si se trata de una

micro o pequeña
Sin salvedades
empresa y es para uso
propio.
Sistemas usados por las autoridades para evaluar

el riesgo de que una persona cometa una
Suprimido
infracción (sólo la Comisión lo limita a penal) o de
ser una víctima de un delito
Sistemas usados por las

Sistemas usados por las autoridades como
autoridades como polígrafos y
polígrafos y similares, o para detectar el estado
similares (y siempre que el
emocional de una persona
Derecho nacional lo permita)

autoridades para
detectar Suprimido
ultrafalsificaciones o
deep fakes
Sistemas usados por las autoridades para la evaluación de la fiabilidad de las

pruebas durante la investigación o el enjuiciamiento de infracciones penales
Asuntos
relacionados
Sistemas usados por las autoridades para predecir
con la
la comisión o reiteración de una infracción penal a
aplicación de
partir de perfilados de personas o para evaluar Suprimido
la ley
rasgos y características de la personalidad o
conductas delictivas pasadas de personas o grupos
Sistemas usados por las autoridades para perfilar personas durante la detección, la
investigación o el enjuiciamiento de infracciones penales
Sistemas para analizar Sistemas usados por las

infracciones penales en autoridades para analizar
relación con personas infracciones penales en
físicas que permitan a las relación con personas físicas
autoridades examinar que permitan a las
grandes conjuntos de autoridades examinar grandes
Suprimido
datos disponibles en conjuntos de datos
diferentes fuentes o disponibles en diferentes
formatos, para detectar fuentes o formatos, para
modelos desconocidos o detectar modelos
descubrir relaciones desconocidos o descubrir
ocultas en los datos relaciones ocultas en los datos

Sistemas usados por las autoridades como
autoridades como polígrafos y
polígrafos y similares, o para detectar el estado
Gestión de la similares (y siempre que el
emocional de una persona física
migración, el Derecho nacional lo permita)
asilo y el
control Sistemas usados por las autoridades para evaluar un riesgo (a la seguridad, la salud o
fronterizo relativo a la inmigración ilegal) que plantee una persona que pretenda entrar o haya
entrado en el territorio de un Estado miembro
103

autoridades para verificar
autoridades para verificar la
la autenticidad de los
autenticidad de los
documentos de viaje de Suprimido
documentos de viaje de las
las personas y la
personas y la detección de
detección de
documentos falsos
documentos falsos
Sistemas destinados a
ayudar a las autoridades
Sistemas usados por las autoridades para examinar las
para examinar las
solicitudes de asilo, visado y residencia, y las
solicitudes de asilo,
reclamaciones
visado y residencia, y las
reclamaciones

autoridades en la gestión de la
inmigración, el asilo y el
control fronterizo para
supervisar, vigilar o tratar
No previsto
datos con el fin de detectar,
reconocer o identificar a
personas y para predecir
tendencias relacionadas con
los movimientos migratorios.
Sistemas destinados a Sistemas usados por Sistemas usados por las

ayudar a una autoridad las autoridades autoridades judiciales o para
judicial para investigar e judiciales para ayudarlas, para interpretar
interpretar hechos o la interpretar hechos o la hechos o la ley, así como para
ley, así como para ley, así como para aplicarla o en resolución
aplicarla aplicarla alternativa de conflictos
Sistemas destinados para

influir en el resultado de una
Administració
elección o referéndum (no
n de justicia y
No previsto incluye los sistemas para
procesos
organizar, optimizar y
democráticos
estructurar campañas
políticas)
Sistemas usados por

plataformas de redes sociales
de muy gran tamaño para
No previsto
recomendar al destinatario
contenido generado por los
usuarios de la plataforma
104
ANEXO III
Listado de documentación obligatoria para los SAR
a Finalidad prevista.
b Persona o personas responsables de su desarrollo.
c Fecha y versión del sistema.
Cómo el sistema interactúa con los soportes físicos o el software que no formen
d
parte del propio sistema de IA (cuando proceda).
Descripción e Las versiones de software y todo requisito sobre la actualización de versiones.

1 general del
sistema de IA Descripción de todas las formas en que el sistema se ha introducido en el
f
mercado o puesto en servicio.
e Descripción del soporte físico en el operará el sistema de IA.
Si el sistema de IA consiste en un componente de productos, fotografías o

f ilustraciones de las características exteriores, descripción del marcado y la
configuración interna de dichos productos.
g Instrucciones de uso e instalación para el usuario.
Los métodos y medidas adoptados para el desarrollo del sistema de IA,

a
incluyendo el uso de programas desarrollados por terceros.
Las especificaciones de diseño del sistema, la lógica general del sistema de IA y

b de los algoritmos, las opciones clave de diseño (la justificación lógica y las
hipótesis planteadas), las principales opciones de clasificación, etc.
La descripción de la arquitectura del sistema, los recursos informáticos utilizados

c
para el desarrollo, el entrenamiento, la prueba y la validación del sistema de IA.
Descripción
detallada de los Los requisitos sobre datos que describan las metodologías y técnicas de
elementos del entrenamiento, así como los conjuntos de datos de entrenamiento, incluida la
2 d
sistema de IA y información acerca de la procedencia de dichos conjuntos de datos, su alcance y
de su proceso sus características principales.
de desarrollo
e La evaluación de las medidas de vigilancia humana del artículo 14.
Una descripción detallada de los cambios predeterminados en el sistema de IA y

f su funcionamiento y toda la información relativa a las soluciones técnicas
adoptadas para garantizar que el sistema cumpla siempre los requisitos.
Los procedimientos de validación y prueba utilizados, los parámetros utilizados

g para medir la precisión, la solidez, la ciberseguridad, así como los efectos
potencialmente discriminatorios, los archivos de registro de las pruebas.
Información detallada acerca del seguimiento, el funcionamiento y el control del sistema de IA (respecto
3 de sus capacidades, los resultados no deseados previsibles, las fuentes de riesgo para la salud y los
derechos fundamentales, las medidas de vigilancia humana, etc.)
105
4 Una descripción detallada del sistema de gestión de riesgos del artículo 9 RIA.
5 Una descripción de todo cambio introducido en el sistema a lo largo de su ciclo de vida.
Una lista de las normas armonizadas, aplicadas total o parcialmente (por ejemplo, pero no limitado a las
6
listadas en el Anexo II del RIA)
7 Una copia de la declaración UE de conformidad.
Una descripción detallada del sistema establecido para evaluar el funcionamiento del sistema de IA en la
8
fase posterior a la comercialización, de conformidad con el artículo 61 RIA.
106
BIBLIOGRAFÍA
appliedAI Initiative. (2022). AI Act Impact Survey. Pan-European survey of AI Startups and
VCs about the impact of the AI Act.
https://www.appliedai.de/assets/files/AI-Act-Impact-Survey_Slides_Dec12.2022.pdf
Bishop, C. (2006). Pattern recognition and machine learning. Springer.
Bogucki, A., Engler, A., Perarnaud, C. & Renda, A. (2022). The AI Act and Emerging EU Digital
Acquis. Overlaps, gaps and inconsistencies. CEPS.
https://cdn.ceps.eu/wp-content/uploads/2022/09/CEPS-In-depth-analysis-2022-02_
The-AI-Act-and-emerging-EU-digital-acquis.pdf
Brakel, M. & Uuk, R. (2023). FLI Position Paper: AI Act Trilogue. Future of Life Institute.
https://futureoflife.org/wp-content/uploads/2023/07/FLI_AI_Act_Trilogues-1.pdf
Brynjolfsson, E. & McAfee, A. (2017). The business of artificial intelligence. Harvard Business
Review. También Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. The
MIT Press.
Comisión Europea. (2022). Apoyo de la UE a las empresas en el mundo digital.

https://digital-strategy.ec.europa.eu/es/activities/support-businesses#:~:text=Las%2
0peque%C3%B1as%20y%20medianas%20empresas,los%20nuevos%20puestos%20d
e%20trabajo
Edwards, L. (2022). The EU AI Act: a summary of its significance and scope. Ada Lovelace
Institute.https://www.adalovelaceinstitute.org/wp-content/uploads/2022/04/Expert
-explainer-The-EU-AI-Act-11-April-2022.pdf
Edwards, L. (2022). Regulating AI in Europe: four problems and four solutions. Ada Lovelace
Institute.https://www.adalovelaceinstitute.org/wp-content/uploads/2022/03/Expert
-opinion-Lilian-Edwards-Regulating-AI-in-Europe.pdf
Engler. A. (8 de junio de 2022). The EU AI Act will have global impact, but a limited Brussels
Effect. Brookings.
107
https://www.brookings.edu/articles/the-eu-ai-act-will-have-global-impact-but-a-limit
ed-brussels-effect/
Fennessy, C. (2 de agosto de 2023). Regulators' rulebook for AI: Bit by bit. IAPP.
https://iapp.org/news/a/regulators-rulebook-for-ai-bit-by-bit/
Garay, J. (7 de septiembre de 2023). EE UU y China preparan sistemas autónomos

controlados por IA para las guerras del futuro. Wired.
https://es.wired.com/articulos/ee-uu-y-china-preparan-sistemas-controlados-por-ia-
para-la-guerra
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. The MIT Press. También
LeCun, Y., Bengio, Y. & Hinton, G. (2015). Deep learning. Nature 521.
Hu, K. & Nishant, N. (27 de septiembre de 2023). OpenAI, at boosted valuation, in talks to
sell existing shares to investors, sources say. Reuters.
https://www.reuters.com/technology/openai-seeks-valuation-up-90-bln-sale-existing
-shares-wsj-2023-09-26/
Janiesch, C., Zschech, P. & Heinrich, K. (2021). Machine learning and deep learning.
https://doi.org/10.1007/s12525-021-00475-2
Madani, A., Arnaout, R., Mofrad, M. & Arnaout, R. (2018). Fast and accurate view
classification of echocardiograms using deep learning. Npj Digital Medicine, 1(1).
https://doi.org/10.1038/s41746-017-0013-1.
Madiega, T. (2023). Artificial intelligence liability directive. European Parliament.

https://www.europarl.europa.eu/RegData/etudes/BRIE/2023/739342/EPRS_BRI(202
3)739342_EN.pdf
McFadden, M., Jones, K., Taylor, E. & Osborn, G. (2021). Harmonising Artificial Intelligence:
The role of standards in the EU AI Regulation. Oxford Information Labs.
https://oxil.uk/publications/2021-12-02-oxford-internet-institute-oxil-harmonising-ai
/Harmonising-AI-OXIL.pdf
108
Meltzer, J. & Tielemans, A. (2022). The European Union AI Act. Next steps and issues for
building international cooperation. Brookings.
https://www.brookings.edu/wp-content/uploads/2022/05/FCAI-Policy-Brief_Final_0
60122.pdf
Mueller, B. (2021). How much will the Artificial Intelligence Act cost Europe? Center for Data
Innovation. https://www2.datainnovation.org/2021-aia-costs.pdf
Mueller, B. (9 de abril de 2022). A New Study Lays Bare the Cost of the GDPR to Europe’s
Economy: Will the AI Act Repeat History? Center for Data Innovation.
https://datainnovation.org/2022/04/a-new-study-lays-bare-the-cost-of-the-gdpr-to-e
uropes-economy-will-the-ai-act-repeat-history/
Mundell, I. (10 de enero de 2023). The Ecosystem: sprawling AI Act may deprive European
start-ups of investment. Science Business.
https://sciencebusiness.net/news/ecosystem-sprawling-ai-act-may-deprive-european
-start-ups-investment
OECD. (2010). SMEs, Entrepreneurship and Innovation (p. 27). Paris: OECD Publishing.
https://read.oecd-ilibrary.org/industry-and-services/smes-entrepreneurship-and-inn
ovation_9789264080355-en
Panigutti, C., Hamon, R., Hupont, I., Fernandez, D., Fano, D., Junklewitz, H., Scalzo, S.,
Mazzini, G., Sanchez, I., Soler, J. & Gomez, E. (2023). The role of explainable AI in the
context of the AI Act. doi.org/10.1145/3593013.3594069
Pellegrino, M., Mancini, S., Gerardi, E. & Mumeni, I. (2022). The AI Act: Help or Hindrance for
SMEs? Intellera Consulting.
https://www.intelleraconsulting.com/documents/42559/59109/AIactpaper_v16_sing
ola_web.pdf/21ea39c2-7b26-7115-5266-a49e8875e7be?t=1668448362037
Pouget, H. (12 de enero de 2023). The EU’s AI Act Is Barreling Toward AI Standards That Do
Not Exist. Lawfare Media.
www.lawfaremedia.org/article/eus-ai-act-barreling-toward-ai-standards-do-not-exist
109
Renda, A., Arroyo, J., Fanni, R., Laurer, M., Sipiczki, A., Yeung, T., Maridis, G., Fernandes, M.,
Endrodi, G., Milio, S., Devenyi, V., Georgiev, S. & Pierrefeu, G. (2021). Study to
support an impact assessment of regulatory requirements for Artificial Intelligence in
Europe. Comisión Europea.
https://op.europa.eu/en/publication-detail/-/publication/55538b70-a638-11eb-9585
-01aa75ed71a1
Renda, A. & Engler, A. (Febrero 2023). What’s in a name? Getting the definition of Artificial
Intelligence right in the EU’s AI Act. CEPS.
https://www.ceps.eu/wp-content/uploads/2023/02/CEPS-Explainer-2023-02_Definiti
on-of-AI-right-in-the-EUs-AI-Act.pdf
Rudner, T. & Toner, H. (2021). Key Concepts in AI Safety: Interpretability in Machine Learning.
CSET.cset.georgetown.edu/publication/key-concepts-in-ai-safety-interpretability-in-m
achine-learning/
Russell, S. & Norvig, P. (2010). Artificial intelligence: a modern approach (3ª ed.). Pearson.
Schuett, J. (2023). Risk Management in the Artificial Intelligence Act. European Journal of
Risk Regulation, 1-19.
www.cambridge.org/core/journals/european-journal-of-risk-regulation/article/risk-m
anagement-in-the-artificial-intelligence-act/2E4D5707E65EFB3251A76E288BA74068
Searle, J. (1985). Mentes, cerebros y programas. Cátedra.
Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., Lanctot, M., Sifre, L.,
Kumaran, D., Graepel, T., Lillicrap, T., Simonyan, K. & Hassabis, D. (2018). A general
reinforcement learning algorithm that masters chess, shogi, and go through self play.
Science, 362(6419), 1140–1144. https://doi.org/10.1126/science.aar6404.
Solove, D. (2021). Dark Patterns Reading List and Resources. Teach Privacy.
https://teachprivacy.com/dark-patterns-reading-list-and-resources/
Tomada, L. (2022). Start-ups and the proposed EU AI Act: Bridges or Barriers in the path from
Invention to Innovation? JIPITEC 53.
https://www.jipitec.eu/issues/jipitec-13-1-2022/5511/tomada_pdf.pdf
110
Veale, M. & Borgesius, F. (2021). Demystifying the Draft EU Artificial Intelligence Act.
Computer Law Review International, 22(4).
Villegas, C. & Martín, P. (2022). El derecho en la encrucijada tecnológica: Estudios sobre

derechos fundamentales, nuevas tecnologías e inteligencia artificial. Tirant.
Wilson, J., Daugherty, P. & Davenport, C. (14 de enero de 2019). The Future of AI Will Be
About Less Data, Not More. Harvard Business Review.
hbr.org/2019/01/the-future-of-ai-will-be-about-less-data-not-more
111
112

Trabajo Final de MÁSTER: Reglamento de Inteligencia Artificial Europeo

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Trabajo Final de MÁSTER: Reglamento de Inteligencia Artificial Europeo

Cargado por

Copyright:

Formatos disponibles

Trabajo Final de MÁSTER

Nuevas Tecnologías y Propiedad Intelectual

Reglamento de Inteligencia Artificial Europeo:

Programa: Doble Máster Universitario en Abogacía y Nuevas

Curso 2022 - 2023

Alumna: Carina Casadesús

Tutor: Joaquím Matinero

Quiero agradecer a mi tutor de TFM, Joaquím Matinero, por su orientación, iniciativas y

Asimismo, deseo expresar mi agradecimiento a Nicolás Pardina, CEO y fundador de Growth.

Contexto social y regulatorio

A pesar de la omnipresencia de estos sistemas inteligentes, ha tenido que transcurrir más de

El legislador europeo, consciente de la problemática ahora expuesta, enfatiza en el

Establecida la finalidad del trabajo, la estructura se presenta de la siguiente manera. En

Los primeros esfuerzos regulatorios empezaron en abril de 2018, con la Comunicación de la

Después de estos trabajos preparatorios, la Comisión publicó una evaluación de impacto13,

A. Definición de inteligencia artificial

Antes de analizar en profundidad el futuro Reglamento de Inteligencia Artificial, es necesario

Existen infinitas definiciones de inteligencia artificial, probablemente por la dificultad de

La conclusión general es que las infinitas definiciones de IA que podemos encontrar en la

B. Funcionamiento de la inteligencia artificial

Entendida la inteligencia artificial en el plano teórico, conviene entender cómo se

Fig. 1: Ejemplo de algoritmo básico

El machine learning, o aprendizaje automático, constituye una rama de la inteligencia

Dentro de la categoría de machine learning, existe otra subcategoría, que es el deep

Retomando el ejemplo del puente, si se utiliza machine learning, el sistema aprenderá de

Las primeras definiciones

Entendida la IA en un plano conceptual, a continuación se estudiará cómo ha evolucionado

La primera definición oficial aparece en abril de 2018 en la Comunicación de la Comisión al

“Los sistemas de inteligencia artificial (IA) son sistemas de software (y en algunos

Más adelante, en febrero de 2020, se publicó “El Libro Blanco de IA de la Comisión

Artículo 3 (1) Flexibilidad Definición de “Sistemas de IA”

El software que se desarrolla empleando una o varias de las técnicas y

Un sistema basado en máquinas diseñado para funcionar con diversos

Un sistema concebido para funcionar con elementos de autonomía que, a

La propuesta de la Comisión es la más amplia de las tres definiciones, ya que no exige

Valoración de las definiciones

El principal argumento para los defensores de una definición acotada es evitar la

1. PRINCIPIOS Y OBJETIVOS DEL REGLAMENTO

Como ya se ha adelantado en la introducción, el primer y máximo objetivo del RIA es la

El segundo pilar del RIA es el principio de proporcionalidad. Después de que la Comisión

Sin embargo, existen dudas de la cuota de mercado que supondrá la imposición de

Por último, el tercer pilar del Reglamento es el fomento de la innovación y la participación

2. ESTRUCTURA DEL REGLAMENTO

El enfoque regulatorio del Reglamento puede resumirse visualmente en la siguiente

Definir el objeto y ámbito de aplicación es el punto de partida para entender el alcance de

A. Operadores del Reglamento de Inteligencia Artificial

A continuación, se incluye un infograma que pretende mostrar de manera sucinta la

A diferencia de la figura del importador, el proveedor puede estar establecido en

Los importadores, y las figuras descritas a continuación, tendrán un rol secundario en

En este caso, el único requisito de territorialidad es que se comercialice en el

Por tanto, como se observa en el infograma, la figura del importador y del

f) Cláusula de cierre en caso de modificación

El Reglamento establece como cláusula de cierre que cualquier distribuidor,

Si bien esta cláusula pretende reconocer la capacidad de cambio constante de los

El artículo 2 del Reglamento limita el ámbito de aplicación territorial de la normativa en

Los tres órganos europeos coinciden en que independientemente del lugar de

En segundo lugar, el Parlamento no permite que proveedores establecidos en la Unión

C. Exclusiones del ámbito de aplicación

Si bien en la primera versión del Reglamento no se ha previsto, el Consejo y el Parlamento

Sin embargo, el mandato impuesto por la Ley 17/2022 de la Ciencia, la Tecnología y la

b) Creación de código abierto (únicamente prevista por el Parlamento)

Actualmente, la mayoría de startups y PYMES basan el desarrollo de sus programas

El Parlamento, para impulsar el desarrollo de la IA, especialmente entre PYMES y startups,