Las redes sociales son tierra fértil para cosas increíbles, pero también para albergar cosas oscuras y difíciles de remediar. Bullying, pornografía infantil, venta de armas y prostitución, son sólo algunos ejemplos. Desafortunadamente, la exposición que ofrecen las redes sociales ha llevado a algunas personas a anunciar o incluso transmitir en vivo su suicidio, por eso Facebook creó un software que utiliza la inteligencia artificial para detectar de forma proactiva las publicaciones relacionadas con la muerte voluntaria.

Esta inteligencia artificial escaneará todas las publicaciones donde detecte patrones de pensamientos suicidas y, cuando sea necesario, enviará recursos de salud mental al usuario en riesgo o a sus amigos y se comunicará con los primeros en responder, para después ponerlos en contacto con un moderador capacitado. Según la red social, la IA permite detectar las publicaciones antes de que lo hagan los moderadores humanos, gracias a lo cual los tiempos de acción para enviar ayuda se reducen.

Como es costumbre, Facebook probó previamente este software para detectar publicaciones problemáticas en Estados Unidos, pero ahora la implementará para usuarios de todo el mundo a excepción de la Unión Europa, pues las leyes de privacidad complican el uso de esta tecnología en dicha región.

Para reforzar esta estrategia, Facebook está reclutando más moderadores dedicados exclusivamente a prevenir el suicidio y los capacita para tratar los casos las 24 horas del día, los siete días de la semana. Actualmente, cuenta con 80 socios como Save.org, National Suicide Prevention Lifeline y Forefront para que puedan proporcionar recursos a los usuarios en riesgo y también a sus amigos.

De acuerdo con una publicación de Guy Rosen en el newsroom de Facebook, vicepresidente de gestión de productos de la compañía:

“Se trata de reducir los minutos en cada paso del proceso, especialmente cuando se tratan un Facebook Live”.

Al momento esta medida previsora de Facebook ha iniciado más de 100 “controles de bienestar” durante su periodo de prueba e incluso, señala Rosen, han existido casos en los que se el primer moderador irrumpe a tiempo durante la transmisión del suicidio de una persona.

Por supuesto, las inquietudes no se han dejado esperar y algunos usuarios temen que un software de ese tipo se convierta en algo demasiado invasivo y que al final la inteligencia artificial responda a medidas políticas disidentes u otro tipo de conductas no necesariamente negativas, por lo que Alex Stamos –jefe de seguridad de Facebook–, respondió a este tipo de inquietudes a través de un mensaje en Twitter que dice:

“El uso espeluznante / aterrador / malicioso de la IA será un riesgo para siempre, por lo que es importante establecer buenas normas hoy en día para sopesar el uso de datos versus la utilidad y tener cuidado con los sesgos. También, Guy Rosen y su equipo son increíbles, es una gran oportunidad para que los motores de Machine Learning tengan un impacto”.

Si bien, la iniciativa de Facebook es buena, también conlleva una responsabilidad enorme. Tal como decía el Tío Ben: “Un gran poder conlleva una gran responsabilidad”.