La mentira y el odio han formado parte de la humanidad desde siempre. Lo nuevo es que en los últimos años, ambos han cobrado un poder inusitado gracias a las nuevas tecnologías, como las redes sociales. En cuanto al discurso del odio, el número de contenidos eliminados con este perfil solo en Facebook fue de 9.6 millones entre enero a marzo del 2020, según indica su informe Transparency. Vale resaltar que este reporte no contempla el período del coronavirus.
Tales indicadores nos remontan a un cuadro más preocupante aún, el de una corriente corrosiva que ya mueve el péndulo de la opinión pública y exacerba los ánimos de las personas. Basta con recordar las campañas de desinformación en redes sociales de Cambridge Analytica, que también se valieron de mensajes de odio, entre otro tipo de falsedades, para capturar la atención de los votantes en las contiendas electorales del Brexit o la de Estados Unidos en el 2016. De ahí en adelante, el discurso político se ha contaminado con las declaraciones incendiarias.
Si bien, hablamos de ejemplos de un mal uso de las herramientas tecnológicas, finalmente las Tecnologías de la Información y Comunicación (TIC´s) son neutras, por lo que también hay casos de un uso más alentador del I+D para combatir estas distorsiones y sesgos en los contenidos, como la Inteligencia Artificial (IA) y el machine learning o aprendizaje automático.
Un severo problema para las plataformas de contenido ha sido el de moderar comentarios. Si hay algo que se convierte en una delicia para los denominados haters u odiadores es la condición de anonimato, lo que les confiere internet. Puesto que pueden expresar sus opiniones sin tener que dar la cara o por medio de una identidad falsa.
Tal característica más la imposibilidad de moderar en tiempo real los millones de comentarios constructivos y tóxicos de la audiencia, ha alentado la difusión de contenidos falsos y mensajes de acoso u odio en línea. Algo que Facebook, Twitter y otras plataformas con todas sus herramientas aún no pueden controlar.
En ese sentido, The New York Times ha implementado la herramienta “Perspective”, una interfaz de programación de aplicaciones o API por sus siglas en inglés, que por medio de la inteligencia artificial es capaz de moderar los comentarios tóxicos e incendiarios que intentan colarse entre sus contenidos.
Aunque esta innovación forma parte del catálogo de opciones tecnológicas de gran utilidad para medios como The New York Times o El País, lo cierto es que está siendo aplicada en plataformas dedicadas a la gestión de comentarios y tiene herramientas que bien puede usar cualquier ciudadano que prioriza un debate sano en redes sociales.
A nivel de funciones para moderadores, el sistema de Perspective trabaja con tecnología machine learning para detectar en forma automática patrones de toxicidad en función de las opiniones expresadas por los usuarios respecto a comentarios previos. Esto es útil, en especial, en aquellos comentarios que sin usar palabras ofensivas, a nivel semántico, son agresiones sutiles. De esta forma, se detecta la escala de toxicidad, la cual puede dispararse o ser fácil de detectar con palabras más universales en este campo, como “nazi”; o puede ser develada con otros términos o conceptos que en un contexto determinado configuran un discurso agresivo en el mundo online.
Cuenta con funciones para comentaristas, como retroalimentación en tiempo real para informarles que sus comentarios son percibidos como tóxicos o pueden violar las reglas de la comunidad en la que interactúan. Además, su herramienta para lectores le permite a los usuarios instalar esta API en su ordenador, descargándola por Tune o vía Google Chrome, para controlar o evitar comentarios tóxicos en aplicaciones como Youtube, Twitter, Facebook o Reddit.
De otro lado, los sesgos de género son otro gran problema que enfrentan las plataformas online. El discurso del odio también se esparce en esta pradera a diario. En ese sentido, ya existen experiencias que se valen del aprendizaje automático para interpretar las representaciones de género, como hizo Google en alianza con The Geena Davis Institute on Gender in Media.
Valiéndose de la inteligencia artificial (IA) y el machine learning, se desarrolló la herramienta denominada el Cociente de Inclusión de Geena Davis (GD-IQ), con la que se analizó la frecuencia en la que participaron los roles femeninos en 100 películas producidas entre el 2014 al 2016. La GD-IQ realiza en forma automática un trabajo que anteriormente era ejecutado por investigadores, quienes visualizaban cada película para interpretar estos sesgos.
A partir de esta innovación, el proceso de análisis se hace al instante y en forma más precisa. Para lo cual, partiendo de la imagen de video y el audio de la película, se detectó la presencia de una mujer o un hombre en la misma, computando el tiempo en el que se desenvuelve cada uno de ellos. Así se encontró que en esta muestra, los roles femeninos ocupan la mitad del tiempo en estas películas, en comparación que sus pares masculinos.
La caja de herramientas IA en las redes sociales
Del lado de las plataformas de redes sociales existen algunas tecnologías que valen la pena comentar. Por ejemplo, en el caso de Facebook, según refiere su director de aprendizaje automático aplicado de Facebook, Joaquín Quiñonero en una entrevista concedida al portal “El Independiente”, esta red ha implementado algunos ajustes en su metodología de depuración de contenidos falsos y mensajes de odio, pasando de los reportes de usuarios indignados al empleo de inteligencia artificial para detectar ipso facto este tipo de contenidos.
De los más de mil millones de publicaciones diarios que circulan en esta red social, el nivel de pericia de Facebook para detectar la desinformación y el discurso del odio se ha incrementado paulatinamente gracias al uso de la IA y el machine learning, que es la principal vía para lograr este objetivo (99% se detecta gracias a esta tecnología). Desde implementaciones como el aprendizaje autosupervisado, para permitir que los algoritmos se alimenten de datos que enseñen a las máquinas a detectar en forma automática este tipo de contenidos en grandes volúmenes de texto en varios idiomas; el uso de la visión computacional para identificar lo mismo en las imágenes; o el aprendizaje multimodal que cumple la misma función pero puede aplicarse en publicaciones que combinan texto, imágenes, videos y sonidos.
Todas estas innovaciones, le han permitido avances a esta plataforma, pero tienen limitaciones, porque los algoritmos no tienen el entrenamiento suficiente para hacer un análisis tan eficaz como el que haría un humano, que es capaz de interpretar la intencionalidad o el mensaje oculto fácilmente, adecuándose al contexto y leyendo a través de la ironía.
En ese sentido, mientras que contenidos como la desnudez, el spam publicitario o el ciberanzuelo o clickbait son tarea resuelta para esta plataforma, según precisa Quiñonero, la interpretación de carácter semántico, especialmente en el discurso del odio, sigue siendo una tarea pendiente para la inteligencia artificial empleada por las plataformas de redes sociales, como Facebook.
Twitter ha tenido un accidente uso de las nuevas tecnologías para combatir el discurso del odio. La plataforma ha sido criticada por no hacer lo suficiente para combatir este tipo de contenidos y también condenada por hacerlo de la manera errada con el chatbot Tay, desarrollado en el 2016 en alianza con Microsoft. Tal herramienta de IA fue eliminada por publicar tweets con frases racistas y sexistas, imitando a los trolls que desplegaban este tipo de comentarios en esta red.
Actualmente, la compañía ha incrementado su capacidad para detectar este tipo de contenidos con mejores herramientas de inteligencia artificial a fin de detectar contenidos racistas o con mensajes de odio, por medio de algoritmos que etiquetan este tipo de tweets o promueven el acoso en línea, siendo reportados o bloqueados en algunos casos.
El problema con esta implementación es que en ocasiones pude fallar, dado que se guía de las reglas o criterios propios de la plataforma. Precisamente, el no tener un estándar independiente para determinar qué tipo de contenido de esta red social es ofensivo o discriminatorio es el talón de Aquiles de la inteligencia artificial usada por Twitter para combatir el discurso del odio.
Nota:
Los datos referentes a las plataformas de Google lo hemos extraído de la presentación del “Taller: Inteligencia artificial y aprendizaje automático en la sala de redacción” de Juan Manuel Lucero, coordinador de Google News Lab, bajo el marco del International Symposium on Online Journalism.
