UNIVERSIDAD NACIONAL FEDERICO

VILLARREAL
Facultad de Ingeniería Industrial y de Sistemas
Escuela de Ingeniería de Sistemas
DERECHO INFORMÁTICO EMPRESARIAL
La regulación de la Inteligencia Artificial
Caso 2

Mg. Ing. Bertha López Juárez

 El punto clave e inicio de
todo el debate

 El debate sobre los peligros de la Inteligencia

Artificial (IA) era uno de los que permanecía
en campo de científicos, de informáticos,
algunos filósofos, apasionados por la
tecnología, etc. Bastó un Facebook Live y un 
tweet para que personas que nunca hablaron
de esto empiecen a inclinarse hacia Mark
Zuckerberg o Elon Musk.

 ¿Qué tiene que ver Skynet, Her o Ex Machine

en todo esto? ¿Vamos a morir todos?
 El punto clave, inicio del
debate

Todo este hilo de conversaciones sobre lo bueno o

malo de la Inteligencia Artificial se inicia con un
evento hipotético central que se lo denomina: 
Singularidad Tecnológica.

Ese evento en términos simples es el momento en

que la IA se convierte en IA Fuerte o instante en que la
IA iguala o supera la inteligencia humana promedio.
Esto implica la existencia de un equipo de cómputo,
una red informática o un robot que cree ciclos de
auto-aprendizaje que permita rediseñarse, lo que
crearía inteligencia o maquinas más potentes que el
ser humano por si sola.
El punto clave, inicio del debate

 La predicción sobre el momento exacto en

que se dará este evento es medido mediante
la Ley de Moore, ley creada por el co-fundador
de Intel que nos postula que cada dos años la
cantidad de transistores en un
microprocesador (Cerebro de una
computadora) se duplica. Algunos estiman
que este momento se daría en las próximas
décadas, allá por el 2040, cuando la cantidad
de información requerida cuente con el
hardware idóneo.
Prueba del avance y momento en que el
debate sobre los pros y contras de la
Singularidad Tecnológica empezaron a
aflorar fue cuando la posibilidad de
desarrollar Inteligencia Artificial con el
método de aprendizaje profundo fue posible.
¿Pero qué es el aprendizaje profundo y qué otro tipo de
desarrollo de IA existe?
Con fines prácticos y con riesgo que muchos puristas
critiquen, se puede explicar que existen tres tipos principales
de desarrollo de Inteligencia Artificial. 

La primera es la que ganó a Garry Kasparov al ajedrez o

llamada árbol de búsqueda, donde una computadora canaliza
la información que posee por medio de reglas
predeterminadas, es decir, la máquina imita a los expertos. 

La segunda es la que ganó a Lee Sedol o la de 

aprendizaje profundo, donde la computadora no se rige por
reglas, más bien posee una simulación de redes neuronales
 análoga a la del cerebro humano y con la información
suministrada va tomando decisiones.

La tercera es la más humana o aprendizaje reforzado. Con la

información suministrada, la computadora va probando y
aprendiendo con base en un sistema de prueba y error.
¿Pero qué es el aprendizaje profundo y qué otro tipo
de desarrollo de IA existe?
 La primera ya venció a Kasparov, el mejor jugador de
ajedrez de la historia. La combinación de la primera
con la segunda derrotó a Lee Sedol en el GO. La
tercera es a la que muchos tienen, ya que ésta con la
información necesaria o suministrada puede decidir
con base a prueba y error si los humanos le somos o
no necesarios a la hora de aPrender o no.

También es clave decir que la ciencia no ha logrado

aclarar la pregunta ¿qué es la conciencia? con lo
cual no es posible plasmar en lo tecnológico como
es el caso de la redes neuronales.

«Crear este tipo de software avanzado requiere

conocimiento científico de que es la conciencia. Aún no
tenemos idea de esto. Por eso es que los argumentos de que
estamos cerca de la singularidad fallan» .
 Hay opiniones que proponen acciones para regularla, como la de Elon
Musk…
¿Qué es exactamente lo que hay que regular? Aunque la tecnología haya logrado
impresionantes avances en tareas aisladas, como traducir idiomas, aún falta mucho
para crear la superinteligencia artificial general que tanto asusta al CEO de Tesla.
Es necesario pensar en el Por mucho que quiera Aun así, Musk quiere que los
impacto que la inteligencia enviarnos a todos al espacio y legisladores tomen medidas sobre lo
artificial podría tener sobre el lograr que el mundo esté que él considera como una enorme
mundo, para muchos de sus dominado por los coches amenaza existencial antes de que se
defensores todavía eléctricos, Elon Musk no convierta en un problema demasiado
es demasiado pronto para defiende todas las tecnologías grande. Recode relata un comentario
regularla. a capa y espada. bastante tajante de Musk durante el
evento:
El software de aprendizaje Todo el mundo sabe que «Hasta que la gente no vea robots
automático está empezando a muestra una que van por la calle matando a gente,
superar al intelecto humano:  enorme inquietud frente al apre no sabrá cómo reaccionar porque
el reconocimiento de voz, ndizaje automático parece algo tan etéreo. La inteligencia
traducción, . Y ha llegado a afirmar que artificial es un caso raro en el que
identificación de objetos en im cree que el desarrollo de creo que tenemos que ser proactivos
ágenes  una inteligencia general (IA) se con la regulación en lugar de
. Pero aún falta mucho para ría como "invocar al diablo". reactivos. Porque creo que en el
que seamos capaces de unir   momento en que seamos reactivos
todo eso un una super Ha dirigido ese mensaje a los
con la regulación de la inteligencia
inteligencia general como la gobernadores de EEUU para
artificial, será demasiado tarde".
que preocupa al fundador de que empiecen a regular la
Tesla. inteligencia artificial y cuanto
antes.
 La urgencia de auditar la eficacia y justicia de las IA de
contratación
Distintos expertos y legisladores proponen auditorías y certificados
obligatorios antes de implementar algoritmos de inteligencia artificial en
recursos humanos.
Estoy en casa jugando a un videojuego que consiste en
inflar globos uno a uno para ganar la mayor cantidad de
dinero posible. Cada vez que hago clic en "Inflar", el globo
se expande y recibo cinco centavos virtuales. Pero si el globo
explota antes de que pulse el botón de "Cobrar", todas mis
ganancias digitales desaparecen.

Tras inflar 39 globos, gané unos 12 euros y apareció un

mensaje en la pantalla que decía: "Usted mantiene un
enfoque coherente en situaciones de alto riesgo. La
característica medida: tolerancia al riesgo".

Este juego forma parte de un conjunto creado por la

compañía Pymetrics, que muchas grandes empresas
estadounidenses están utilizando para seleccionar a
candidatos para sus puestos de trabajo. Si alguien se
postula a un trabajo en McDonald's, Boston Consulting
Group, Kraft Heinz o Colgate-Palmolive, es posible que se le
pida que juegue a los juegos de Pymetrics.
UN SISTEMA DE INTELIGENCIA ARTIFICIAL (IA) MIDE
DISTINTOS RASGOS COMO LA GENEROSIDAD, LA
HONESTIDAD Y LA ATENCIÓN.
Mientras juego, un sistema de inteligencia
artificial (IA) mide distintos rasgos como la
generosidad, la honestidad y la atención. Si
realmente estuviera solicitando un puesto, el
sistema compararía mis puntuaciones con las de
los empleados que ya trabajan en ese puesto. Si
mi perfil de personalidad reflejara los rasgos más
específicos de las personas que tienen éxito en
ese puesto, pasaría a la siguiente etapa de
contratación.

Cada vez más empresas utilizan herramientas de

contratación basadas en inteligencia artificial
como estas para gestionar la avalancha de
solicitudes que reciben, especialmente ahora que
hay aproximadamente el doble de trabajadores
desempleados en Estados Unidos que antes de
la pandemia. 

Una encuesta de más de 7.300 responsables de

recursos humanos en todo el mundo, realizada
por la empresa de gestión de activos Mercer,
encontró que la proporción de los que afirman
que su departamento utiliza análisis predictivo
aumentó del 10 % en 2016 al 39 % en 2020.
UN SISTEMA DE INTELIGENCIA ARTIFICIAL (IA) MIDE DISTINTOS
RASGOS COMO LA GENEROSIDAD, LA HONESTIDAD Y LA ATENCIÓN .
 Sin embargo, los investigadores han descubierto que
algunas herramientas de contratación, igual que otras
aplicaciones de IA, producen resultados sesgados,
favoreciendo de forma inconsciente a hombres o a
personas de ciertos orígenes socioeconómicos, por
ejemplo. Muchos abogan por una mayor transparencia y
más regulación. La solución que se propone con
mayor frecuencia son las auditorías de IA.

 El año pasado, Pymetrics contrató a un equipo de

informáticos de la Universidad Northeastern (EE. UU.)
para que auditara su algoritmo de contratación. Fue una
de las primeras veces que una empresa de este tipo
solicitaba una auditoría externa para su propia
herramienta. La CEO, Frida Polli, cree que su
experiencia podría convertirse en un modelo para el
cumplimiento de una propuesta de ley que requiere tales
auditorías para las empresas en la ciudad de Nueva York
(EE. UU.), donde Pymetrics tiene su sede.
Pymetrics comercializa su software como
"completamente libre de sesgos".
 "Lo que está haciendo Pymetrics, incorporar a una tercera
parte neutra para auditar, es una muy buena dirección en
la que avanzar. Si pueden impulsar a la industria para que
sea más transparente, es un paso adelante realmente
positivo ", opina la profesora de derecho de la Universidad de
Washington en St. Louis (EE. UU.) Pauline Kim, especialista
en derecho laboral e inteligencia artificial.

 No obstante, a pesar de toda la atención que han recibido las

auditorías de IA, su capacidad para detectar y proteger
contra el sesgo sigue sin demostrarse. 

 El término "auditoría de IA" puede significar muchas cosas, lo

que dificulta confiar en sus resultados en general. Las
auditorías más rigurosas pueden tener un alcance limitado. E
incluso con un acceso ilimitado a las entrañas de un
algoritmo, puede resultar sorprendentemente difícil afirmar
con certeza si este trata a los solicitantes de una manera
justa. 

 En el mejor de los casos, las auditorías ofrecen una imagen

incompleta y, en el peor, podrían ayudar a las empresas a
ocultar algunas prácticas problemáticas o controvertidas
detrás del sello de aprobación de un auditor.
Los detalles de una auditoría de IA

En la actualidad, ya se utilizan muchos tipos de herramientas de

contratación habilitadas por la IA, como el software que analiza las
expresiones faciales, el tono y el lenguaje de un candidato durante
la entrevista por vídeo, así como los programas que revisan
currículums, prevén la personalidad o investigan la actividad en las
redes sociales de un aspirante

Independientemente del tipo de herramienta que vendan, los

proveedores de inteligencia artificial para la contratación
generalmente prometen que sus tecnologías encontrarán
candidatos mejor calificados y más diversos a un coste menor y
en menos tiempo que los tradicionales departamentos de
recursos humanos.

Sin embargo, hay muy pocas pruebas que lo demuestren y, de

todas formas, la auditoría de IA del algoritmo de Pymetrics
tampoco se centró en demostrar su eficacia. 

En cambio, tenía como objetivo determinar si esa herramienta

de contratación en particular discrimina gravemente a los
candidatos por motivos de raza o género.
Los detalles de una auditoría de IA

 El investigador de la Universidad de Northeastern Christo

Wilson había examinado distintos algoritmos antes,
incluidos los que 
impulsan el aumento de precios de Uber y el motor de bús
queda de Google
. Pero, hasta que Pymetrics lo llamó, nunca había
trabajado directamente con la empresa que
investigaba.

 El equipo de Wilson (su colega Alan Mislove y dos

estudiantes graduados) se basó en los datos de
Pymetrics y tuvo acceso a los científicos de datos de
la empresa. 

 Los auditores eran editorialmente independientes, pero

acordaron informar a Pymetrics sobre cualquier hallazgo
negativo antes de la publicación. La compañía pagó a
Northeastern 87.667 euros a través de una subvención
 que incluía 54.391 euros para los salarios de Wilson y su
equipo.
Los detalles de una auditoría de IA
 El producto principal de Pymetrics es un conjunto de 12 juegos
que, según la empresa, se basan principalmente en 
experimentos de ciencia cognitiva. Los juegos no están pensados
para ganar o perder; están diseñados para identificar atributos
cognitivos, sociales y emocionales de un candidato, incluida la
tolerancia al riesgo y la capacidad de aprendizaje. 

 Pymetrics comercializa su software como "

completamente libre de sesgos". Wilson y Pymetrics acordaron que
los auditores se centrarían en una pregunta específica: ¿Son
justos los modelos de la empresa?

 Los investigadores basaron la definición de equidad en lo que

coloquialmente se conoce como la regla de los cuatro quintos,
que se ha convertido en un estándar de la contratación en
Estados Unidos. La Comisión para la Igualdad de Oportunidades
en el Empleo (EEOC, por su sigla en inglés) publicó sus consejos
en 1978 que establecen que los procedimientos de contratación
deben seleccionar aproximadamente la misma proporción de
hombres y mujeres, y de personas de diferentes grupos
raciales. Según la regla de los cuatro quintos, explica Kim, "si los
hombres pasaran al siguiente paso en el proceso de contratación
el 100 % de las veces, las mujeres deben superarlas, como
mínimo, el 80 % de las ocasiones".
Los detalles de una auditoría de IA
 Si las herramientas de contratación de una empresa no
respetan la regla de los cuatro quintos, la EEOC podría
examinar sus prácticas más de cerca. Kim detalla: "Para un
empleador, esa revisión no es mala. Si se aseguran de que
sus herramientas no son desproporcionadamente
discriminatorias, probablemente no llamarán la atención de
los reguladores federales".

 Para averiguar si el software de Pymetrics cumple con esta

regla, el equipo de Northeastern primero tuvo que
comprender cómo funcionaba la herramienta.

 Cuando un nuevo cliente solicita los servicios de Pymetrics,

debe seleccionar a al menos 50 empleados que hayan tenido
éxito en el puesto de trabajo que la empresa quiere
cubrir. Estos empleados juegan los videojuegos de Pymetrics
para generar datos de entrenamiento. Después, el sistema de
Pymetrics compara los datos de esos 50 empleados con los
datos del juego de más de 10.000 personas seleccionadas al
azar entre más de dos millones. Luego, el sistema construye
un modelo que identifica y clasifica las habilidades
específicas de los empleados exitosos del cliente.
 Una solución imperfecta

 Para verificar si hay sesgos, Pymetrics compara este modelo con otro
conjunto de datos de aproximadamente 12.000 personas (seleccionadas
al azar entre más de 500.000) que no solo han jugado sus videojuegos,
sino que también han revelado sus datos demográficos mediante un
cuestionario. La idea consiste en determinar si el modelo pasaría la
prueba de los cuatro quintos si evaluara a estas 12.000 personas.

 Si el sistema detecta algún sesgo, construye y prueba más modelos

hasta encontrar alguno que prediga el éxito y produzca
aproximadamente las mismas tasas de aprobación para hombres y
mujeres y para los miembros de todos los grupos raciales. 

 Entonces, en teoría, incluso si la mayoría de los empleados exitosos de

un cliente son hombres blancos, Pymetrics puede corregir el sesgo
comparando los datos del juego de esos hombres con los datos de
mujeres y personas de otros grupos raciales. Lo que busca son puntos
de datos que predigan los rasgos y que no se correlacionen con la
raza ni el género, pero que sí distingan a los empleados exitosos.
 Una solución imperfecta

 Wilson y su equipo de auditores querían averiguar si el mecanismo

antisesgo de Pymetrics efectivamente lo previene y si se puede
engañar. Para llevarlo a cabo, intentaron jugar con el sistema, por ejemplo,
duplicando los datos del juego del mismo hombre blanco muchas veces con
la intención de usarlos para construir un modelo. 

 Wilson cuenta que el resultado siempre era el mismo: "Por la forma en la

que se diseñó su código y la manera en la que los científicos de datos usan
la herramienta, no había un modo obvio de engañarlo para que
produjera algo sesgado y lo aceptara como correcto".

 El otoño pasado, los auditores compartieron sus hallazgos con la empresa:

el sistema de Pymetrics cumple la regla de los cuatro quintos. El equipo de
Northeastern recientemente publicó online este estudio del algoritmo y
presentará un informe sobre su trabajo en marzo en la conferencia de
responsabilidad algorítmica FAccT. "La gran conclusión es que Pymetrics
realiza un muy buen trabajo", afirma Wilson.
 Una solución imperfecta
 Pero, aunque el software de Pymetrics cumple con la regla de los
cuatro quintos, la auditoría no ha demostrado que la herramienta
esté totalmente libre de sesgos ni de que sea capaz de elegir a los
candidatos mejor cualificados para un puesto de trabajo.

 El estudiante de doctorado en ciencias de la computación en la

Universidad de Cornell (EE. UU.) Manish Raghavan, quien ha
publicado muchos artículos sobre inteligencia artificial y la
contratación, afirma: "De hecho, parecía que la pregunta más bien
debería ser: '¿Pymetrics está haciendo lo que dicen que
hacen?' en vez de '¿Están haciendo lo correcto o lo apropiado?'".

 "De hecho, parecía que la pregunta más bien debería ser:

'¿Pymetrics está haciendo lo que dicen que hacen?' en vez de
'¿Están haciendo lo correcto o lo apropiado?'"
 Una solución imperfecta
 Por ejemplo, la regla de los cuatro quintos solo requiere que
personas de diferentes géneros y grupos raciales pasen a la
siguiente ronda del proceso de contratación con aproximadamente
las mismas tasas. 

 Una herramienta de contratación de inteligencia artificial podría

satisfacer ese requisito y aún resultar tremendamente
inconsistente a la hora de predecir el desempeño de las personas
de diferentes grupos después de ser contratadas. 

 Y si una herramienta predice el éxito con más precisión para

los hombres que para las mujeres, por ejemplo, eso significaría
que en realidad no está identificando a las mujeres mejor
cualificadas, por lo que las mujeres contratadas "podrían no tener
tanto éxito en el trabajo", sostiene Kim.
 Una solución imperfecta
 Otro tema que ni la regla de los cuatro quintos ni la auditoría de
Pymetrics abordan es la interseccionalidad. La regla compara a los
hombres con las mujeres y un grupo racial con otro para ver si
pasan al mismo ritmo, pero no compara, por ejemplo, a los
hombres blancos con los hombres asiáticos o mujeres
negras. "Podría haber algo que satisfaga la regla de los cuatro
quintos [para] los hombres contra las mujeres y los negros contra los
blancos, pero podría ocultar el sesgo contra las mujeres negras",
según Kim.

 Pymetrics no es la única empresa que ha auditado su IA. HireVue,

otro gran proveedor de software de contratación vía IA, pidió a la
empresa O'Neil Risk Consulting and Algorithmic Auditing (ORCAA)
que evaluara uno de sus algoritmos. Esa compañía es propiedad de
la científica de datos Cathy O'Neil, que también es autora
de Weapons of Math Destruction, uno de los libros más populares
y fundamentales sobre el sesgo de la IA, que lleva años
abogando por las auditorías de IA.
 Una solución imperfecta
 ORCAA y HireVue centraron su auditoría en un producto: las
evaluaciones de contratación de HireVue, que muchas empresas
utilizan para evaluar a universitarios recién graduados. 

 En este caso, ORCAA no evaluó el diseño técnico de la herramienta

en sí. En cambio, la empresa entrevistó a las partes interesadas (el
solicitante de empleo, el especialista en ética en inteligencia artificial
y varias organizaciones sin ánimo de lucro) sobre los posibles
problemas con las herramientas y dio recomendaciones a HireVue
para mejorarlas. 

 El informe final se publicó en el sitio web de HireVue, pero solo se

puede leer tras firmar un compromiso de no divulgación
 Una solución imperfecta
 El miembro de Brookings Institution que ha estudiado las herramientas de
contratación de IA y que está familiarizado con ambas auditorías Alex
Engler, afirma que la de Pymetrics es mejor: "Hay una gran diferencia en la
profundidad del análisis que se realizó". 

 Pero ninguna de las auditorías abordó si los productos realmente ayudan a

las empresas a tomar mejores decisiones de contratación. Y ambas fueron
financiadas por las empresas auditadas, lo que crea "un pequeño riesgo
de que el auditor se vea influenciado por el hecho de que se trata de
un cliente", señala Kim.

 Los críticos afirman que, por estas razones, las auditorías voluntarias no
bastan. Los científicos de datos y expertos en responsabilidad ya están
presionando por una regulación más amplia de las herramientas de
contratación de IA, así como estándares para auditarlas.
 Una solución imperfecta
Llenar los huecos

Algunas de estas medidas ya han empezado a surgir. En 2019, los senadores

estadounidenses Cory Booker y Ron Wyden y la congresista Yvette Clarke
presentaron la Ley de Responsabilidad Algorítmica para que las auditorías
de sesgo sean obligatorias en las grandes empresas que utilizan inteligencia
artificial, aunque su proyecto de ley no ha sido ratificado.

También hay alguna iniciativa a nivel estatal. La Ley de Entrevistas por Vídeo

con IA en Illinois (EE. UU.), que entró en vigor en enero de 2020, requiere
que las empresas informen a los candidatos si usan IA en entrevistas por
vídeo. Algunas ciudades también están tomando medidas: en Los Ángeles (EE.
UU.), en pasado noviembre, el concejal municipal Joe Buscaino propuso una
resolución de contratación justa para los sistemas automatizados.
 Una solución imperfecta
 La ley de la ciudad de Nueva York en especial podría servir de modelo
para otras ciudades y países. La norma obligaría a los proveedores de
herramientas de contratación automatizadas a someterse a auditorías
anuales. También requeriría que las empresas que utilizan las herramientas
informen a los candidatos de qué características usó su sistema para tomar
una decisión.

 Hasta ahora, la EEOC ni siquiera ha emitido pautas claras sobre los

algoritmos de contratación que ya se usan. Pero las cosas podrían empezar
a cambiar pronto. En diciembre, 10 senadores enviaron una carta a la EEOC
preguntando si tenía la autoridad para comenzar a vigilar los sistemas de
contratación por IA para prevenir la discriminación contra las personas
de color, que ya se habían visto afectadas de manera desproporcionada por
la pérdida de empleos durante la pandemia.
 Una solución imperfecta
Este debate es sobre regular o no la Inteligencia Artificial.

Lo que Mark Zuckerberg propone es dejar fluir, un hombre de buena fe. En cierta
medida esto es genial e ideal, pero reglas nulas o la no existencia de buenas prácticas no
es lo conveniente.

Lo que plantea Elon Musk es regular por vía estatal y quiere relacionar lo político con el
tema. Eso no puede ser aceptado de ninguna manera. Es el extremo de la propuesta de
Mark y es muy raro tener los polos opuestos liderados por dos genios.

Debe quedar claro que tiene y debe existir la regulación mediante buenas prácticas y
penalización social, no estatal a los productos o empresas que violen las prácticas
sugeridas con base en estudios o la experiencia misma. Proponer protocolos de ser
necesario.

Estamos en un momento hermoso para debatir sobre esto. Disfrutemos de este instante
en que el debate sobre la Inteligencia Artificial abandonó los laboratorios, entornos
nerds o espacios pequeños en redes sociales o foros y apreciemos el día en que esta
discusión se hizo mainstream.

 ¡¡Muchas Gracias !!
Una solución imperfecta
Este debate es sobre regular o no la Inteligencia Artificial.

1.¿Está de acuerdo sobre la regulación de IA?

2.Argumente las razones por las que está de acuerdo

3.Argumente las razones por las que no está de acuerdo

 ¡¡Muchas Gracias !!
Una solución imperfecta
Una solución imperfecta
¿Todavía una solución imperfecta?

 ¡¡Muchas Gracias !!

Mg. Ing. Bertha López Juárez