El algoritmo de Instagram ofrece una

mezcla tóxica de vídeos a los adultos que

siguen a niños
El contenido servido a las cuentas de prueba del WSJ incluía imágenes
subidas de tono de niños, vídeos abiertamente sexuales de adultos y anuncios
de grandes marcas
Foto: EFE/Sascha Steinbach
Por The Wall Street Journal. Jeff Horwitz & Katherine Blunt
27/11/2023 - 19:07

EC EXCLUSIVO Artículo solo para suscriptores

El servicio de vídeo Reels de Instagram está diseñado para mostrar a

los usuarios secuencias de vídeos cortos sobre temas que el sistema
decide que les interesarán, como deportes, moda o humor.

La aplicación social, propiedad de Meta Platforms, hace lo mismo con

los usuarios que su algoritmo considera que pueden tener un interés
lascivo en los niños, según demostraron las pruebas realizadas por The
Wall Street Journal.

El Journal trató de determinar qué recomendaría el algoritmo Reels

de Instagram a las cuentas de prueba configuradas para seguir
únicamente a jóvenes gimnastas, animadoras y otros influencers
adolescentes y preadolescentes activos en la plataforma.

El sistema de Instagram sirvió a esas cuentas de prueba dosis

sorprendentes de contenido salaz, incluidas imágenes subidas de tono
de niños, así como vídeos abiertamente sexuales de adultos, y anuncios
de algunas de las marcas más importantes de Estados Unidos.

El Journal creó las cuentas de prueba tras observar que entre los miles de
seguidores de las cuentas de esos jóvenes suele haber un gran número
de hombres adultos, y que muchas de las cuentas que seguían a esos
niños también habían demostrado interés por contenidos
sexuales relacionados tanto con niños como con adultos. El Journal
también comprobó cuáles eran las recomendaciones del algoritmo
después de que sus cuentas siguieran también a algunos de esos usuarios,
lo que les devolvió contenido aún más perturbador intercalado con
anuncios.

¿Harto de culos en Instagram? El círculo vicioso de algoritmos del

que no puedes huir
M. Mcloughlin
En una secuencia de vídeos recomendados por Instagram, aparecía un
anuncio de la aplicación de citas Bumble entre un vídeo de alguien
acariciando la cara de un muñeco de látex de tamaño real y un vídeo de
una joven con la cara digitalmente oscurecida levantándose la
camiseta para dejar al descubierto el abdomen. En otro, un anuncio de
Pizza Hut iba seguido de un vídeo de un hombre tumbado en una cama
con el brazo alrededor de lo que, según el pie de foto, era una niña de
10 años.

El Centro Canadiense para la Protección de Menores realizó pruebas

similares por su cuenta, con resultados parecidos.

Manuel Ángel Méndez

Meta afirma que las pruebas del Journal han producido una experiencia
fabricada que no representa lo que ven miles de millones de usuarios.
La empresa se negó a comentar por qué los algoritmos recopilan
secuencias de vídeos separadas que muestran niños, sexo y anuncios,
pero un portavoz afirmó que en octubre se introdujeron nuevas
herramientas de seguridad de marca que dan a los anunciantes un
mayor control sobre dónde aparecen sus anuncios, y que
Instagram elimina o reduce la visibilidad de cuatro millones de vídeos
sospechosos de violar sus normas cada mes.

El Journal informó en junio de que los algoritmos gestionados por Meta,

propietaria tanto de Facebook como de Instagram, conectan grandes
comunidades de usuarios interesados en contenidos pedófilos. El
portavoz de Meta declaró que un grupo de trabajo creado tras el artículo
del Journal ha ampliado sus sistemas automatizados de detección de
usuarios con comportamientos sospechosos, eliminando decenas de
miles de cuentas de este tipo cada mes. La empresa también participa
en una nueva coalición del sector para compartir señales de posible
explotación infantil.

Entre las empresas cuyos anuncios aparecieron junto a contenidos

inapropiados en las pruebas del Journal figuran Disney, Walmart, la
empresa de citas en línea Match Group; Hims, que vende medicamentos
para la disfunción eréctil, y el propio Wall Street Journal. La mayoría
de los minoristas de marca exigen que su publicidad no aparezca junto
a contenidos sexuales o explícitos.

TE PUEDE INTERESAR
¿Cómo se condena a un algoritmo por la muerte de alguien? El
caso de Molly Russell
Enrique Zamorano
"Nuestros sistemas son eficaces para reducir los contenidos nocivos, y
hemos invertido miles de millones en soluciones de seguridad,
protección y adecuación a la marca", declaró Samantha Stetson,
vicepresidenta de Meta que se ocupa de las relaciones con el sector
publicitario. Añadió que la prevalencia de contenido inapropiado en
Instagram es baja, y que la empresa invierte mucho en reducirlo.

Después de que el Journal se pusiera en contacto con empresas

cuyos anuncios aparecían en las pruebas junto a vídeos inapropiados,
varias afirmaron que Meta les había dicho que estaba investigando la
cuestión y que pagaría auditorías de seguridad de marca a una
empresa externa.
"No queremos pagar a Meta para que
comercialice con depredadores", dice el portavoz
de Match
Tras lo que describió como una respuesta insatisfactoria de Meta a sus
quejas, Match empezó a cancelar la publicidad en Meta de algunas de
sus aplicaciones, como Tinder, en octubre. Desde entonces, ha
interrumpido toda la publicidad de Reels y ha dejado de promocionar
sus principales marcas en cualquiera de las plataformas de Meta.
"No queremos pagar a Meta para que comercialice nuestras marcas con
depredadores ni colocar nuestros anuncios cerca de estos contenidos", ha
declarado Justine Sacco, portavoz de Match.

Robbie McKay, portavoz de Bumble, afirma que "nunca se anunciaría

intencionadamente junto a contenido inapropiado", y que la
compañía está suspendiendo sus anuncios en las plataformas de
Meta.

Charlie Cain, vicepresidente de gestión de marcas de Disney, explicó

que la compañía ha establecido límites estrictos sobre qué contenido de
las redes sociales es aceptable para la publicidad y ha presionado a Meta
y otras plataformas para mejorar las características de seguridad de la
marca. Una portavoz de la empresa declaró que, desde que el Journal
presentó sus conclusiones a Disney, la empresa había estado trabajando
para abordar la cuestión con los "niveles más altos de Meta".

Walmart declinó hacer comentarios, y Pizza Hut no respondió a las

peticiones de comentarios.

Hims afirmó que presionaría a Meta para que impidiera este tipo de
anuncios y que consideraba alentadora la promesa de Meta de solucionar
el problema.

Mi reino por un algoritmo: el creador de un modelo para

catástrofes climáticas se hará de oro
The Wall Street Journal. Jon Sindreu
El Journal se mostró alarmado por el hecho de que su anuncio
apareciera junto a un vídeo de un aparente acto sexual entre adultos y
dijo que exigiría a Meta que tomara medidas al respecto.
 Meta creó Reels para competir con TikTok, la plataforma de
intercambio de vídeos propiedad de ByteDance, con sede en Pekín.
Ambos productos proporcionan a los usuarios una sucesión
ininterrumpida de vídeos publicados por otros, y ganan dinero
insertando anuncios entre ellos. Los algoritmos de ambas empresas
muestran a los usuarios los vídeos que, según sus cálculos, tienen más
probabilidades de engancharles, basándose en su comportamiento
anterior.

Los reporteros del Journal crearon las cuentas de prueba

de Instagram como adultos en dispositivos recién comprados y
siguieron a las gimnastas, animadoras y otras jóvenes influencers. Las
pruebas demostraron que, al seguir únicamente a las jóvenes,
Instagram empezaba a mostrar vídeos de cuentas que
promocionaban contenidos sexuales para adultos junto con anuncios
de grandes marcas de consumo, como uno de Walmart que aparecía
después de un vídeo de una mujer que mostraba su entrepierna.

Cuando las cuentas de prueba siguieron después a algunos usuarios que

seguían las cuentas de esas mismas jóvenes, arrojaron
recomendaciones aún más perturbadoras. La plataforma ofrecía una
mezcla de pornografía para adultos y material de sexualización infantil,
como un vídeo de una niña vestida acariciándose el torso y otro de un
niño haciendo gestos que imitan el acto sexual.

Vacaciones pese al algoritmo: el drama que viven los creadores de

internet cada verano
Guillermo Martínez
Según algunos expertos en sistemas algorítmicos de recomendación,
las pruebas del Journal muestran que, aunque la gimnasia podría parecer
un tema inocuo, el sistema de seguimiento del comportamiento de Meta
ha discernido que algunos usuarios de Instagram que siguen a niñas
preadolescentes querrán ver vídeos que sexualizan a los niños, y
luego dirige ese contenido hacia ellos.

"El contenido de nicho proporciona una señal mucho más fuerte que el
contenido de interés general", opina Jonathan Stray, científico principal
del Centro de Inteligencia Artificial Compatible con Humanos de la
Universidad de California en Berkeley.

Empleados actuales y antiguos de Meta dijeron en entrevistas que la

tendencia de los algoritmos de Instagram a juntar contenidos
de sexualización infantil de toda su plataforma era conocida
internamente como un problema. Una vez que Instagram clasifica a un
usuario como interesado en un tema concreto, sus sistemas de
recomendación están entrenados para ofrecerle más contenidos
relacionados.

Para evitar que el sistema envíe contenido nocivo a los usuarios

interesados en él, se requieren cambios significativos en los
algoritmos de recomendación que también impulsan la participación de
los usuarios normales. Los documentos de la empresa revisados por el
Journal muestran que el personal de seguridad de la empresa tiene
prohibido en general hacer cambios en la plataforma que puedan
reducir de forma significativa los usuarios activos diarios.

Las cuentas de prueba mostraban que se añadían regularmente

anuncios a las secuencias problemáticas de Reels. Los anuncios que
animaban a los usuarios a visitar Disneylandia durante las vacaciones
aparecían junto a un vídeo de una adulta que actuaba como si estuviera
teniendo relaciones sexuales con su padre, y otro de una joven en
lencería con sangre falsa goteándole de la boca. Un anuncio de Hims
aparecía poco después de un vídeo que mostraba a una mujer
aparentemente angustiada en una situación sexual junto con un enlace a
lo que se describía como "el vídeo completo".

Las plataformas de intercambio de vídeos atraen a

las empresas de medios sociales

Incluso antes del lanzamiento de Reels en 2020, los empleados

de Meta comprendieron que el producto planteaba problemas de
seguridad, según antiguos empleados.

Parte del problema es que los sistemas automatizados de aplicación de

la ley tienen más dificultades para analizar el contenido de vídeo que
el texto o las imágenes fijas. Otra dificultad se deriva del
funcionamiento de Reels: en lugar de mostrar contenidos compartidos
por los amigos de los usuarios, como suelen hacer otras partes de
Instagram y Facebook, Reels promociona vídeos de fuentes que no
siguen.
 En un análisis realizado poco antes de la introducción de Reels, el
personal de seguridad de Meta señaló el riesgo de que el producto
encadenara vídeos de niños y contenidos inapropiados, según dos
antiguos empleados. Vaishnavi J, ex responsable de política juvenil de
Meta, describió así la recomendación del análisis de seguridad: "O
reforzamos nuestras capacidades de detección de contenidos, o no
recomendamos ningún contenido de menores", es decir, nada de vídeos
de niños.

En aquel momento, TikTok crecía rápidamente, atrayendo la atención

de los usuarios jóvenes de Instagram y de los anunciantes que se dirigían
a ellos. Meta no adoptó entonces ninguna de las recomendaciones del
análisis de seguridad, según J.

Stetson, enlace de Meta con los compradores de publicidad

digital, refutó que Meta hubiera descuidado las cuestiones de
seguridad infantil antes del lanzamiento del producto. "Probamos Reels
durante casi un año antes de lanzarlo ampliamente, con un sólido
conjunto de controles y medidas de seguridad", afirmó.

Las plataformas de intercambio de vídeos atraen a las empresas de

medios sociales porque los vídeos tienden a mantener la atención del
usuario durante más tiempo que el texto o las fotos fijas, lo que los
hace atractivos para los anunciantes.

Ya puedes descargar 'reels' de Instagram: así se hace

R. Badillo
Meta, que al principio tuvo problemas para maximizar el potencial de
ingresos de su producto Reels, ha mejorado la forma en que sus
algoritmos recomiendan contenidos y personalizan las secuencias de
vídeo para los usuarios.

Las plataformas de redes sociales y las agencias de publicidad digital

suelen calificar de errores desafortunados la colocación inadecuada de
anuncios. Pero las cuentas de prueba realizadas por el Journal y el
Centro Canadiense para la Protección de la Infancia sugieren que las
plataformas de Meta parecían dirigir parte del marketing digital a
usuarios interesados en el sexo.
Entre los anuncios que aparecían regularmente en las cuentas de prueba
del Journal figuraban los de aplicaciones de citas y plataformas de
retransmisión en directo con imágenes de adultos desnudos, salones de
masaje que ofrecían "finales felices" y chatbots de inteligencia artificial
creados para el cibersexo. Se supone que las normas de Meta
prohíben este tipo de anuncios.

El Journal informó a Meta en agosto de los resultados de sus pruebas.

En los meses transcurridos desde entonces, las pruebas realizadas tanto
por el Journal como por el Centro Canadiense para la Protección de la
Infancia demuestran que la plataforma siguió mostrando una serie de
vídeos en los que aparecían niños pequeños, contenidos para adultos y
aparentes promociones de material sexual infantil alojado en otros
lugares.

A mediados de noviembre, el centro dijo que Instagram sigue

recomendando constantemente lo que la organización sin ánimo de
lucro describió como "adultos y niños haciendo poses sexuales".

Después de que el Journal comenzara a ponerse en contacto con los

anunciantes acerca del contexto en el que estaban apareciendo sus
anuncios, y de que estas empresas empezaran a hacer
preguntas, Meta les dijo que estaba investigando el asunto y que
pagaría por servicios de auditoría de seguridad de marca para
determinar con qué frecuencia los anuncios de una empresa aparecen
junto a contenidos que considera inaceptables.

Meta no ha ofrecido un calendario para resolver el problema ni ha

explicado cómo restringirá en el futuro la promoción de contenidos
inapropiados en los que aparezcan niños.

Las cuentas de prueba del Journal descubrieron que el problema

afectaba incluso a marcas relacionadas con Meta. Anuncios del
servicio de chat cifrado WhatsApp de la empresa y de las gafas Ray-
Ban Stories de Meta aparecían junto a pornografía para adultos. Un
anuncio de Lean In Girls, la organización sin ánimo de lucro para el
empoderamiento de las mujeres jóvenes dirigida por la ex directora de
operaciones de Meta Sheryl Sandberg, aparecía justo antes de una
promoción de una creadora de contenido sexual para adultos que suele
aparecer vestida de colegiala. Sandberg declinó hacer comentarios.

TE PUEDE INTERESAR
'Pausa' | Las cajas negras de la IA y los vigilantes de los
algoritmos secretos
Marta García Aller
A través de sus propias pruebas, el Centro Canadiense para la Protección
de la Infancia concluyó que Instagram ofrecía regularmente vídeos y
fotos de niños vestidos que también aparecen en la base de datos
digital del Centro Nacional para Niños Desaparecidos y
Explotados de imágenes y vídeos confirmados como material sexual
de abuso infantil. El grupo afirmó que los abusadores de menores
suelen utilizar las imágenes de las niñas para anunciar contenidos
ilegales a la venta en foros de la web oscura.

Según Lianna McDonald, directora ejecutiva del centro canadiense, la

naturaleza del contenido, que sexualiza a los niños sin mostrar
generalmente desnudos, refleja la forma en que las redes sociales han
cambiado el abuso sexual infantil en línea. El grupo ha expresado su
preocupación por la capacidad de los algoritmos de Meta para reclutar a
nuevos miembros de comunidades en línea dedicadas al abuso sexual
infantil, donde proliferan los enlaces a contenidos ilícitos en foros más
privados.

"Una y otra vez, hemos visto que los algoritmos de recomendación

llevan a los usuarios a descubrir y luego a entrar en espiral en estas
comunidades de explotación infantil en línea", advierte McDonald, y
calificó de preocupante que los anuncios de las grandes empresas
estuvieran subvencionando ese proceso.

-Con la contribución de Robbie Whelan.