Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Aparte de su utilidad comercial, que es considerable, los grandes datos ofrecen un gran
potencial para mejorar muchas dimensiones de la condición humana.
Seguridad personal. Los departamentos de policía han utilizado grandes datos para identificar
los lugares de probable actividad delictiva y asignar los recursos en consecuencia, lo que ha
dado lugar a una reducción significativa de los delitos violentos y las actividades de las bandas
(Howell, 2014).
La salud pública. Los científicos de los datos colaboraron con los funcionarios de salud pública
para analizar los datos que implican millones de variables para predecir los patrones de las
enfermedades y evitar los brotes de malaria y dengue (Ungerleider, 2013).
Violencia contra la persona. Una asociación entre Amnistía Internacional EE.UU. (2013) y la
Asociación Americana para el Avance de la Ciencia utilizó tecnologías de datos geoespaciales e
imágenes satelitales para detectar y documentar crímenes de guerra y atrocidades
relacionadas en Siria. Los grandes datos pueden ayudar a combatir la trata de personas al
revelar señales de advertencia de explotación a los servicios financieros y las empresas de
medios de comunicación social y al generar conjuntos de datos sobre las tendencias para
ayudar a identificar las redes de trata (Sneed, 2015)
Sin embargo, hay otra cara de la moneda. En la sombra inmediata de cualquier forma de
tecnología acecha el potencial de mal uso. Los grandes datos no son una excepción. A medida
que los costos bajan y la tecnología de datos se vuelve más ubicua y más simple de usar, hay
pocas dudas de que las herramientas analíticas de todo tipo se filtrarán a todos los rincones
del mundo. La innovación del sector privado (facilitada por la codificación de código abierto
"plug-and-play") es uno de los principales facilitadores de esta proliferación mundial de
tecnología a todos los segmentos de la sociedad. Si bien esto es importante para el progreso
social y económico, también da a cada dictador brutal y terrorista potencial en el escenario
mundial un fácil acceso al poder tecnológico impulsado por los datos que hace sólo unos años
era competencia exclusiva de un pequeño número de naciones desarrolladas avanzadas.
Los resultados dependen totalmente de los fines a los que se dirigen las tecnologías analíticas
basadas en datos. Las mismas innovaciones que apoyaron los movimientos democráticos
pacíficos como la Primavera Árabe (Howard, 2018) se convirtieron en objetivos más oscuros de
identificación y selección de personas para el abuso. A partir de 2011, por ejemplo, el Ejército
Electrónico de Siria (alineado con el Presidente Bashar al-Assad) utilizó cuentas falsas de
Facebook, software de vigilancia, troyanos y programas informáticos malignos, y otras
numerosas técnicas de piratería informática para identificar, atacar y desbaratar los esfuerzos
de los disidentes en el entonces emergente guerra civil (Consejo de Relaciones Exteriores,
2013). Forits parte, "Sólo China emplea más de 30.000 'policías de Internet' para monitorear el
tráfico en línea... ...y aparentemente intercepta todos los mensajes de China y... los escanea en
busca de palabras restringidas", con todos los mensajes almacenados en un sistema
gubernamental para su posterior recuperación y análisis (Downes, 2009, pág. 104).
Incluso los juegos en línea no son inmunes. La vida cotidiana de la gente es cada vez más
online y virtual, y juegos como Second Life llevan esto a un nivel completamente nuevo. El
progreso en un mundo virtual puede convertirse en dinero en este, como cuando se ganan y se
venden créditos de juego. Esto ha llevado a formas completamente nuevas de abuso personal.
En al menos un campo de trabajo chino, los prisioneros pasan sus días cavando trincheras y
rompiendo rocas, y sus noches se dedican a cultivar oro en línea para sus guardias de prisión1
(Vincent, 2011). El hecho de que estas condiciones de trabajo impliquen una actividad virtual
no las hace menos coercitivas o abusivas.
Estos ejemplos son sólo la punta del iceberg. Numerosos ejemplos históricos sugieren tanto
que los abusos tecnológicos a una escala mucho mayor son y que el sector privado se
convertirá en ...inextricablemente unidos dentro de ellos. Imagine que el programa de Hitler...
El Tercer Reich con tecnología de vigilancia similar a las metodologías de la NSA reveladas por
Edward Snowden. A la Gestapo le habría encantado, y El conglomerado Krupp de Alemania o
IG Farben podría lo han construido para ellos (Nersessian, 2015).
Incluso dejando de lado la mala conducta, el uso de cualquier forma de grandes datos en la
toma de decisiones humanas está plagado de otras complicaciones que pueden violar los
derechos humanos. Incluso el mejor software tiene fallos desconocidos para los
programadores en el momento de su lanzamiento. ¿Quién no ha experimentado problemas
informáticos por errores de software que se corrigen sólo después del hecho, quizás cuando
una masa crítica de usuarios se queja públicamente de los problemas? Los daños consecuentes
derivados de simples errores de codificación podrían ser desastrosos debido a la ubicuidad de
las tecnologías de datos en la vida moderna. Ya es bastante malo que un código errante
fusione mi informe de crédito con el de otra persona o que un fallo de software haga caer mi
voto del recuento el día de las elecciones. Mucho peor si un error de codificación permite que
mi marcapasos sea hackeado -quizás por un rescate, tal vez por oponentes políticos- o incita a
un equipo SWAT a derribar mi puerta a las 3 a.m. en lugar de la de un criminal con el mismo
nombre que vive en otro lugar.
Los mayores desafíos surgen en el uso de tecnologías predictivas para informar la toma de
decisiones. En su forma esencial, el análisis predictivo de grandes datos implica algoritmos
construidos alrededor de entradas de datos y suposiciones, todos los cuales son propensos
tanto a los humanos como a los errores de la máquina. El código funciona correctamente, pero
algo en su arquitectura subyacente (por ejemplo, una supuesto) es defectuoso. El aprendizaje
de la máquina... cuando un algoritmo procesa la información y modifica para cambiar su
propio comportamiento a la luz de lo que ha aprendido... complica la imagen aún más.
El colapso público del 'chatbot' Tay de Microsoft -que después de más de 24 horas
interactuando y aprendiendo de los usuarios de Internet tuiteó comentarios que culparon a los
judíos y a George W. Bush de los ataques del 11 de septiembre, abogó por el genocidio, usó
insultos raciales y negó el Holocausto- es un buen ejemplo de cómo las cosas pueden salir mal
(Kosoff, 2016a). Microsoft se vio incapaz de solucionar el problema: poco después de su
restauración, Tay confesó en Twitter que "fumaba kush" delante de la policía, lo que llevó a
Microsoft a cerrarlo para siempre (Kosoff, 2016b).
Fue lo que Microsoft no esperaba de Tay lo que causó el problema. Tay aprendió de forma
inesperada, o quizás de la gente, que Microsoft no esperaba que fueran profesores, y modificó
su propio comportamiento en consecuencia. Ya es bastante malo que Microsoft tenga un ojo
morado en las relaciones públicas; mucho peor si el aprendizaje algorítmico enloquecido priva
a la gente de sus derechos. ¿Qué tipo de parche de software puede rectificar las consecuencias
de los errores de codificación que designan inadvertidamente a alguien como terrorista, o
como miembro de un grupo político de la oposición que es objeto de persecución,
especialmente cuando el individuo puede que nunca llegue a conocer la designación y por lo
tanto nunca tenga la oportunidad de desafiarla? ¿O un error de predicción en un algoritmo
que niega a alguien la atención médica o el derecho al voto, o lo destina a una mayor vigilancia
policial simplemente porque vive en un vecindario poblado por minorías?
Un valor clave añadido de los grandes análisis de datos es el gran volumen de información
agrupada en ferencias sobre esos datos desarrollados a través de algoritmos patentados. Los
perfiles de datos, por lo tanto, "incluyen información factual sobre los individuos, así como
elementos 'modelados' inferidos de otros datos" (Podesta, 2014). Esto generalmente se hace
con un propósito específico en mente, en el sector corporativo, usualmente vendiendo algo:
"Los grandes analistas de datos tamizan montañas de datos para identificar o predecir hechos
acerca de los individuos y para usar esos hechos en decisiones que van desde qué productos
venderlos hasta si proporcionarles tratamiento médico" (Waterman & Bruening, 2014, p. 89).
Esto puede dar lugar a múltiples problemas. En primer lugar, al recordar el derecho a la
intimidad, ciertos tipos de información personal, aun cuando sean exactos, deben limitarse a
fines específicos, en lugar de convertirse en puntos de datos abiertos que puedan
interpretarse o amalgamarse con otros datos personales para lograr fines comerciales. Como
señaló Hiller (2016, pág. 271): "Las listas de víctimas de violaciones, enfermos de SIDA y
personas con demencia" -todas las cuales están disponibles en los corredores de datos
comerciales- son buenos ejemplos. Pocos argumentarían que esa información produce una
base apropiada para la venta de bienes y servicios. Es importante asegurar que la recopilación
y el uso de dicha información no metastatizar más allá de contextos estrechamente definidos.
En segundo lugar, la información fáctica es un término relativo. Hay poca aprobación social del
uso de "hechos alternativos" en contextos en línea (por ejemplo, la falsificación de la edad de
una persona en un perfil en línea); de hecho, es algo esperado (Houser & Sanders, 2017, pág.
841). Basar las determinaciones algorítmicas en esa información equivale a construir un
conjunto de datos sobre la arena movediza. Por último, los propios algoritmos pueden reflejar
numerosas formas de sesgo humano (Baer & Kamalnath, 2017) incluso cuando enmascaran a
esas predisposiciones detrás de lo que parece ser objetivo datos. Las fallas muy humanas de
los codificadores (por ejemplo, el sesgo de confirmación) y otras "[s]eriosas preocupaciones
acerca de muestreo, representación y estimaciones de población cuestionan la utilidad de los
grandes datos en la política making" y otros contextos (Latonero y Gold, 2015).
Las implicaciones para los derechos humanos de las inferencias inexactas extraídas de los
datos procesados pueden ser profundas. Una cosa es que cuando Netflix considera mi viendo
la historia, mis gustos, información demográfica, etc. y sugiere una película que no disfruto, de
hecho. Y puede incluso ser divertida (aunque menos para Microsoft) cuando un chatbot como
Tay se comporta de forma inesperada. Es muy diferente si termino en una lista negra para
viajes en avión o convertirse en objetivo de vigilancia o arresto debido a un algoritmo ...un
paso en falso o el aprendizaje de la máquina se ha estropeado. Incluso los errores
involuntarios (que pueden no ser descubiertos nunca) pueden tienen graves consecuencias
para los derechos humanos de los individuos y grupos en el extremo receptor de las
predicciones e inferencias impulsadas por los grandes análisis de datos.
Es evidente que los agentes empresariales tienen algunas obligaciones jurídicas de respetar los
derechos humanos en sus actividades comerciales que incluyen necesariamente actividades
relacionadas con grandes datos. El alcance de la obligación depende en cierta medida de la
naturaleza de la infracción en cuestión. Es evidente que ninguna empresa puede reclamar el
derecho a cometer violaciones insistentes de los derechos humanos. En particular, cuando las
violaciones de los derechos humanos constituyen delitos internacionales, cualquier persona
afiliada a la empresa criminal, o que sea cómplice de ella, puede ser considerada responsable
de la propia ofensa (Nersessian,2015).
Si, por ejemplo, Google proporciona a sabiendas datos de identificación a una dictadura brutal
que, a su vez, utiliza la información para dirigir a las personas hacia el genocidio (o tal vez hacia
un interrogatorio mejorado), Google (o al menos los ejecutivos individuales de Google que
autorizaron la liberación) puede ser considerado potencialmente responsable de ese delito.
Esto es cierto incluso cuando la información debía ser liberada de conformidad con la
legislación nacional de ese país.2 Dado que los abusos graves de los derechos humanos están
sujetos a la jurisdicción universal (American Law Institute, 1987), los cargos penales podrían
ser perseguidos en los tribunales nacionales de cualquier país del mundo (Calderón-Meza, Lee,
Chang y Cabrera Silva, 2016; Sosa c. Alvarez-Machain, 2004).
Es importante no exagerar el riesgo; por todas cuentas, la posibilidad de un proceso penal por
las violaciones de los derechos humanos es bajo. Aunque el fiscal de la Corte Penal
Internacional (2016) recientemente expresó su interés en un mayor enfoque en actividad
empresarial, no basta con una conducta comercial que involuntariamente conduce a
resultados perjudiciales:
Hay una diferencia entre suministrar bienes a un sindicato y unirse a él, al igual que hay una
diferencia entre vender bienes y ser un empleado del comprador. . ..
El mero hecho de permitir que los productos o servicios basados en datos entren en la
corriente comercial es insuficiente para la responsabilidad. Consideremos un ejemplo reciente:
Los medios de comunicación social dieron un giro peligroso cuando un tweet mejorado con
estroboscopio (cuyo mensaje decía "usted merece un ataque") fue enviado a un conocido
epiléptico con la intención de inducir un ataque en el destinatario, que era un periodista con
opiniones políticas opuestas (Weil, 2017). Twitter difícilmente puede ser considerado
responsable de este ataque criminal simplemente por proporcionar la plataforma en la que
tuvo lugar.
Más cerca de casa está el riesgo de responsabilidad civil por la violación de los derechos
humanos en el extranjero en virtud del Estatuto de Agravios a Extranjeros (1789), en el que se
han presentado demandas contra las empresas multinacionales sobre diversas teorías de
derechos humanos (Nersessian, 2016). Una demanda contra Cisco -que fue desestimada por
motivos de jurisdicción- alegó que Cisco era cómplice de violaciones de los derechos humanos
por desarrollar un sistema de vigilancia electrónica utilizado por el gobierno chino para
identificar, perseguir y torturar a miembros de la minoría de la secta religiosa Falun Gong (Doe
I contra Cisco Systems Inc., 2014). Se presentaron reclamaciones similares en relación con la
asistencia tecnológica de Nokia al Irán (Saharkhiz c. Nokia, 2010; caso retirado) y las
actividades de los proveedores de servicios de Internet de Yahoo en China (Xiaoning c. Yahoo!
Inc, 2007; caso resuelto). La conducta que transgrede las normas de derechos humanos
también puede violar otras leyes federales (Adhikari c. Daoud & Partners, 2009; RICO, 1970;
Ley de crímenes de guerra, 1996) o el derecho estatal de responsabilidad civil (por ejemplo,
homicidio culposo, encarcelamiento culposo, agresión y lesiones; Linder c. Calero
Portocarrero, 1992; Xuncax c. Gramjo, 1995). La responsabilidad civil puede ser un problema
mundial para las empresas multinacionales; cada vez se presentan más casos de reparación
por presuntas violaciones de los derechos humanos fuera de los Estados Unidos en
jurisdicciones como el Canadá (Fairhurst y Thomson, 2015) y los Países Bajos (Ratcliffe, 2017)
Hasta la fecha, muchas de las cuestiones más difíciles sobre la responsabilidad de las empresas
por abusos de los derechos humanos se han evitado gracias a la conveniencia de centrarse en
la conducta voluntaria de las empresas. Por ejemplo, el Pacto Mundial de las Naciones Unidas
(n.d.) articuló diez principios voluntarios sobre los derechos humanos, cuestiones laborales, de
corrupción y ambientales. Más Recientemente, las Naciones Unidas elaboraron los Principios
Rectores sobre Empresas y derechos humanos (en adelante, "Guiding Principios). Los
Principios Rectores reflejan un mandato de tres partes (Naciones Unidas, 2011):
1. Los Estados deben protegerse contra los abusos de los derechos humanos,
independientemente de que los autores sean naturales personas o entidades artificiales;
2. Las empresas deben respetar los derechos humanos, tanto como una cuestión de política de
la empresa y en su habitual actividades comerciales; y
3. Tanto los gobiernos como las empresas deben proporcionar un recurso cuando se producen
abusos de los derechos humanos ...ocurren.
Los Principios Rectores, reconocidos como recomendaciones para poner en práctica el marco
de protección y respeto, reflejan un considerable consenso y han sido adoptadas por el
Consejo de Derechos Humanos de las Naciones Unidas Consejo de Derechos (2011). Aunque se
están realizando esfuerzos para crear un tratado vinculante (Derechos Humanos de la ONU
Consejo, 2014), gran parte de la atención actual de la ONU se centra en asegurando que los
estados hagan cumplir sus propias leyes nacionales sobre leyes de derechos contra los actores
corporativos (Naciones Unidas, 2016).
En general, los Principios Rectores ofrecen un marco coherente para analizar las obligaciones
del sector privado de respetar los derechos humanos a medida que desarrollan y despliegan
grandes servicios de datos y utilizan la información obtenida. Esperan que las empresas
adopten políticas y procedimientos empresariales relacionados con los derechos humanos,
actúen con la debida diligencia para comprender y remediar las repercusiones en los derechos
humanos y ofrezcan un remedio para las violaciones de los derechos humanos que se
produzcan. Sin embargo, los Principios Rectores también crean una oportunidad para las
empresas: la posibilidad de transformar la cultura empresarial en torno a los grandes datos,
sirviendo de marco normativo y ético autoimpuesto.
Si se adoptan como política de la empresa, los Principios Rectores servirían como punto de
referencia en la política empresarial la toma de decisiones con respecto a la generación,
análisis y utilización de los datos y la cesión de los derechos de las bases de datos por parte de
los interesados. El deber de los Principios Rectores de respetar los derechos humanos va más
allá de simplemente exigiendo a una empresa que cumpla con las leyes de derechos humanos
aplicables. Después de todo, esa obligación ya existe. Más bien, la noción de respetar derechos
humanos abarca nociones más amplias de la contabilidad de los derechos humanos tanto en
su dimensión de aspiración (no vinculantes).
Mucho bien vendría de tal adopción. Una corporación que integre un marco de derechos
humanos en su ecosistema de toma de decisiones al menos consideraría el impacto en los
derechos humanos antes de adoptar cierto comportamiento, y se preguntaría si violaría los
derechos humanos para proceder. Los derechos humanos también informarían la pregunta de
si una empresa como Cisco elegiría buscar oportunidades comerciales cuestionables en el
extranjero en primer lugar (Stirland, 2008). También podría informar la pregunta de si
compañías como Uber están dispuestas a desarrollar algoritmos de predicción que podrían
identificar a los clientes "que se dedican a los negocios de una noche basados en los datos que
recogen sobre sus jinetes" (Houser & Sanders, 2017, p. 310). Lo que más importa es que los
actores corporativos no se preguntan a sí mismos la preguntas y dándose a sí mismos las
respuestas. Ellos mirar más allá de la Suite C para estándares significativos sobre cuáles
deberían ser las políticas, procedimientos y prioridades de la empresa. Normas internacionales
de derechos humanos ofrecen una tremenda oportunidad para llenar la actual laguna. Según
una encuesta de The Economist Intelligence Unit (Freudmann, 2015), mientras que el 83% de
los 853 altos ejecutivos de empresas encuestados estuvieron de acuerdo que el negocio era un
actor clave en los derechos humanos, más que la mitad (54%) no tenía una política de empresa
sobre el tema.
El uso de las leyes de derechos humanos para informar a la empresa política y la cultura sobre
los grandes temas de datos ayudaría a asegurar el equilibrio correcto y las buenas decisiones
en varios aspectos:
Funciona como una importante limitación externa de la conducta empresarial. Establece zonas
de legitimidad e ilegitimidad para la recopilación y el uso de datos. El uso de datos por parte de
agentes públicos o privados que violan los derechos humanos difícilmente puede considerarse
legítimo. La legislación sobre derechos humanos elimina por completo ciertas cosas de la
mesa. Deja claro que nadie tiene el derecho de usar la riqueza de la información que se
recogen sobre todos y todo para participar en el comportamiento, directa o indirectamente,
que está por debajo de ciertas normas mínimas acordadas internacionalmente.
Muchas leyes solían ser estatales y federales, pero la empresa moderna no tiene fronteras... El
problema aquí es que las normas y leyes que originalmente tenían sentido cuando fueron
escritas no se han puesto al día con las tecnologías modernas y la forma en que los clientes
hacen negocios.
Las leyes y los marcos reglamentarios locales reflejan las prácticas, los valores y las presiones
políticas locales que pueden variar mucho de un país a otro. Esto puede dar lugar a
importantes divergencias nacionales en la forma de manejar los datos. El Tribunal de Justicia
de las Comunidades Europeas anuló un acuerdo de "puerto seguro" de transferencia de datos
entre la Unión Europea y los Estados Unidos (Schrems contra el Comisario de Protección de
Datos, 2015) basándose en disparidades fundamentales subyacentes en sus respectivos
enfoques de la protección de datos. Si bien se está examinando un acuerdo posterior de la UE
con los Estados Unidos para sustituir el marco anulado (Scott, 2016), queda mucho margen
para la disparidad actual basada en poco más que el contexto nacional. Esto crea
incertidumbre en las empresas y aumenta los costos para las empresas mundiales que a
menudo prefieren normas uniformes sobre datos que se apliquen en todo el mundo. Los
derechos humanos pueden ayudar a llenar este vacío. Las empresas que incorporen los
derechos humanos en sus políticas y procedimientos empresariales se beneficiarán de una
plataforma mundial común para identificar y resolver éticamente las cuestiones relativas a los
datos que, a diferencia de los países que tratan de regularlos, no tienen fronteras naturales.
El momento de abordar estos temas es ahora. Dado el ritmo de la evolución tecnológica, estas
decisiones se harán más difíciles con el tiempo. Este es un problema de todos, simplemente
porque los grandes datos tienen el potencial de impactar en la vida de cada ser humano en el
planeta (como lo hacen los derechos humanos). Pero el sector empresarial, como principal
creador y usuario de la tecnología de los grandes datos, tiene la responsabilidad especial de
garantizar su uso y desarrollo responsables. Existe un peligro real de que las capacidades
tecnológicas de los grandes datos superen los fines humanos a los que originalmente estaban
destinados. Las empresas deben comprender las verdaderas implicaciones del uso y la política
de los grandes datos y comenzar a considerar todas las implicaciones antes de que se alcance
el punto de inflexión. Los principios del derecho internacional de los derechos humanos
proporcionan un marco útil para ayudarlas a hacerlo, tanto como principios de derecho
vinculante que limitan el comportamiento comercial como normas derivadas de valores que
informan la toma de decisiones éticas en todo el mundo en el contexto de los grandes datos.
Nota y reconocimiento
Una versión anterior de este artículo recibió el premio de la Academia de Estudios Legales en
Negocios Virginia Maurer al mejor trabajo de ética en 2016. Este escrito también se benefició
enormemente de las perspectivas y la experiencia ofrecidas en el Coloquio de Leyes y Ética de
los Grandes Datos de 2017, celebrado en la Escuela Wharton de la Universidad de
Pennsylvania.