LOS ALGORITMOS OCULTOS QUE

FUNCIONAN COMO “ARMAS DE

DESTRUCCIÓN MATEMÁTICA”
Sin que nos diéramos mucha cuenta, parte de la vida moderna
se nos fue de las manos.
Redacción BBC Mundo| 1 noviembre 2016

Las matemáticas son, para muchos, una ciencia hermosa. Pero algunos algoritmos --vitales para
decidir cosas que nos afectan directamente (como la cesión de un préstamo o la obtención de
un trabajo)-- se basan en estadísticas falsas o sesgadas que fomentan la desigualdad y la
discriminación en el mundo.
Al menos, así lo asegura Cathy O'Neil.
La exprofesora del prestigioso Barnard College de la Universidad de Columbia, en EEUU,
quien trabajó como analista de datos en Wall Street, dejó el mundo académico y financiero
para convertirse en uno de los miembros más activos del movimiento Ocuppy Wall Street
(OWS), que denunció los excesos del sistema financiero a partir de 2011.
Cinco años después de que naciera aquel movimiento intelectual, O'Neil acaba de publicar su
libro, "Weapons of Math Destruction" (Armas de destrucción matemática), en el que describe
cómo los algoritmos gobiernan nuestras vidas (y tienden a desfavorecer a los más
desfavorecidos).
"Vivimos en la era de los algoritmos", escribe la matemática. "Cada vez en mayor medida, las
decisiones que afectan nuestras vidas --a qué escuela ir, si podemos o no obtener un préstamo o
cuánto pagamos por nuestro seguro sanitario-- no están tomadas por humanos, sino por
modelos matemáticos".
En teoría, explica la especialista, esto debería conducir a una mayor equidad, de forma que
todo el mundo fuera juzgado bajo las mismas reglas y se eliminara el sesgo. Pero, según O'Neil,
lo que ocurre es exactamente todo lo contrario.

EL LADO OSCURO DEL BIG DATA

Los algoritmos funcionan a modo de "recetas" creadas por computadoras para analizar grandes
cantidades de datos.
Un algoritmo puede recomendarte una película o protegerte de un virus informático, pero eso
no es todo. Hay ciertos algoritmos que O'Neil define como "opacos, desregulados e
irrefutables". Pero lo más preocupante, asegura, es que refuerzan la discriminación.
La primera característica de estos algoritmos, le cuenta O'Neil al Servicio Mundial de la BBC,
es que "toman decisiones muy importantes en la vida de las personas". Por ejemplo, si un
estudiante pobre en EE.UU. trata de pedir un préstamo, el sistema lo rechazará por ser
demasiado "arriesgado" (en virtud de su raza o vecindario) y será aislado de un sistema
educativo que podría sacarle de la pobreza, quedando atrapado en un círculo vicioso.
Este es tan sólo un ejemplo de cómo esos algoritmos respaldan a los más afortunados y castigan
a los más oprimidos, creando un "cóctel tóxico para la democracia", explica O'Neil. Es el lado
oscuro del Big Data.
Pero, además, la académica dice que "(esos algortimos) son, en cierto sentido, opacos: la gente
no comprende cómo son computarizados. Y, a veces, son secretos".
"Una de las cosas que más me preocupa es que estas puntuaciones --los algoritmos nos avalúan
y puntúan-- no son visibles para nosotros", explica.
"Por ejemplo, cuando llamamos al servicio al cliente (de una empresa) a veces nos puntúan
según nuestro número de teléfono y el perfil que tienen registrado de nosotros. Y deciden si
somos un cliente de alto o de bajo valor. Si somos de valor reducido, puede que nos hagan
esperar más tiempo".
De acuerdo con la matemática, esos modelos ocultos manejan nuestras vidas desde que
empezamos la escuela primaria hasta que nos jubilamos.
Los modelos están presentes en infinitos aspectos de nuestra vida personal y
profesional: controlan resultados académicos de estudiantes y alumnos, clasifican currículos
vitae, conceden o deniegan becas, evalúan a trabajadores, determinan votantes, establecen
penas de libertad condicional y vigilan nuestra salud.
Y todos ellos, dice O'Neil, esconden bucles de retroalimentación perjudiciales. Pero ¿qué
quiere decir eso?

COMPRENDIENDO EL ALGORITMO
Simplemente, no describen la realidad tal y como es, sino que la modifican, expandiendo o
limitando nuestras oportunidades en la vida.
"Estos algoritmos son destructivos y debilitan su propio objetivo original, como la mejora del
sistema educativo, por ejemplo", dice O'Neil.
"Uno de mis ejemplos favoritos es el modelo de puntuación de valor agregado del profesor, y
está muy extendido en Estados Unidos. Tiene que ver con el esfuerzo para librarse de los
malos profesores".
"Los resultados de los alumnos están informatizados, y los maestros ganan puntos si sus
estudiantes obtienen mejores resultados de lo esperado (y viceversa). El verdadero problema es
que nadie entiende (este sistema) realmente, lo cual estaría bien si funcionara a la perfección.
Pero no es el caso", advierte la exanalista.
Lo que ocurre, asegura, es que tienen "mucho ruido estadístico" y son "inconsistentes". De
hecho, algunos profesores han sido despedidos por fallas en esta tecnología, señala.
O'Neil dice que las personas encargadas de la modelación (y fabricación) de esos algoritmos
deberían asumir una mayor responsabilidad sobre cómo se están usando estos modelos
matemáticos.
Pero, al final, está en nuestras manos informarnos más sobre ello, hacernos las preguntas
adecuadas y comprender mejor cómo funcionan los modelos matemáticos que rigen nuestras
vidas.
"Es muy difícil luchar contra sistemas de puntuación que ni siquiera sabes que existen. Por eso,
una de las cosas que reivindico en mi libro es que la gente los rebata".
"Hay muchas formas de adelantarnos al sistema. Por ejemplo, si hago una búsqueda en internet
sobre un problema de salud, siempre lo hago desde una ventana de incógnito", dice O'Neil.
La clave, advierte, es "asegurarse de que las personas (y los algoritmos) que recopilan
información sobre ti en internet no obtienen 'malas noticias'".

(en: http://www.bbc.com/mundo/noticias-37837377?ocid=socialflow_facebook)