Conclusiones clave
- Una nueva herramienta de software permite que la IA controle los comentarios de Internet en busca de expresiones de odio.
- Se necesita IA para moderar el contenido de Internet debido al enorme volumen de material que supera las capacidades humanas.
- Pero algunos expertos dicen que el monitoreo del habla por IA plantea problemas de privacidad.
A medida que aumenta el discurso de odio en línea, una empresa dice que podría tener una solución que no dependa de moderadores humanos.
Una startup llamada Spectrum Labs proporciona tecnología de inteligencia artificial a proveedores de plataformas para detectar y cerrar intercambios tóxicos en tiempo real. Pero los expertos dicen que el monitoreo de la IA también plantea problemas de privacidad.
"El monitoreo de IA a menudo requiere observar patrones a lo largo del tiempo, lo que requiere retener los datos", dijo a Lifewire David Moody, asociado sénior de Schellman, una empresa de evaluación del cumplimiento de la seguridad y la privacidad, en una entrevista por correo electrónico. "Estos datos pueden incluir datos que las leyes han marcado como datos de privacidad (información de identificación personal o PII)."
Más discurso de odio
Spectrum Labs promete una solución de alta tecnología para el viejo problema del discurso de odio.
"En promedio, ayudamos a las plataformas a reducir los esfuerzos de moderación de contenido en un 50 % y aumentar 10 veces la detección de comportamientos tóxicos", afirma la empresa en su sitio web.
Spectrum dice que trabajó con institutos de investigación con experiencia en comportamientos dañinos específicos para construir más de 40 modelos de identificación de comportamiento. La plataforma de moderación de contenido Guardian de la compañía fue construida por un equipo de moderadores y científicos de datos para "apoyar la protección de las comunidades contra la toxicidad"."
Hay una creciente necesidad de formas de combatir el discurso de odio, ya que es imposible que un ser humano controle cada parte del tráfico en línea, Dylan Fox, director ejecutivo de AssemblyAI, una empresa emergente que proporciona reconocimiento de voz y tiene clientes involucrados en el control del odio discurso, le dijo a Lifewire en una entrevista por correo electrónico.
"Hay alrededor de 500 millones de tweets por día solo en Twitter", agregó. "Incluso si una persona pudiera revisar un tweet cada 10 segundos, Twitter necesitaría emplear a 60 mil personas para hacer esto. En su lugar, usamos herramientas inteligentes como IA para automatizar el proceso".
A diferencia de un ser humano, la IA puede operar las 24 horas del día, los 7 días de la semana y potencialmente ser más equitativa porque está diseñada para aplicar sus reglas de manera uniforme a todos los usuarios sin que interfiera ninguna creencia personal, dijo Fox. También hay un costo para aquellas personas que tienen que monitorear y moderar el contenido.
"Pueden estar expuestos a la violencia, el odio y actos sórdidos, que pueden ser perjudiciales para la salud mental de una persona", dijo.
Spectrum no es la única empresa que busca detectar automáticamente el discurso de odio en línea. Por ejemplo, Centre Malaysia lanzó recientemente un rastreador en línea diseñado para encontrar discursos de odio entre los internautas de Malasia. El software que desarrollaron, llamado Tracker Benci, utiliza el aprendizaje automático para detectar el discurso de odio en línea, particularmente en Twitter.
El desafío es cómo crear espacios en los que las personas realmente puedan relacionarse entre sí de manera constructiva.
Preocupaciones de privacidad
Si bien las soluciones tecnológicas como Spectrum pueden luchar contra el discurso de odio en línea, también plantean dudas sobre cuánto deberían estar haciendo las computadoras para vigilar.
Hay implicaciones para la libertad de expresión, pero no solo para los oradores cuyas publicaciones se eliminarían como discurso de odio, Irina Raicu, directora de ética de Internet en el Centro Markkula de Ética Aplicada de la Universidad de Santa Clara, le dijo a Lifewire en un correo electrónico. entrevista.
"Permitir el acoso en nombre de la 'libertad de expresión' ha llevado a los objetivos de dicho discurso (especialmente cuando está dirigido a individuos particulares) a dejar de hablar, a abandonar varias conversaciones y plataformas por completo", dijo Raicu."El desafío es cómo crear espacios en los que las personas realmente puedan relacionarse entre sí de manera constructiva".
El monitoreo del habla por IA no debería plantear problemas de privacidad si las empresas usan información disponible públicamente durante el monitoreo, dijo Fox. Sin embargo, si la empresa compra detalles sobre cómo interactúan los usuarios en otras plataformas para identificar previamente a los usuarios problemáticos, esto podría generar problemas de privacidad.
"Definitivamente puede ser un poco gris, dependiendo de la aplicación", agregó.
Justin Davis, el CEO de Spectrum Labs le dijo a Lifewire en un correo electrónico que la tecnología de la compañía puede revisar de 2 a 5 mil filas de datos en fracciones de segundo. “Lo que es más importante, la tecnología puede reducir la cantidad de contenido tóxico al que están expuestos los moderadores humanos”, dijo.
Es posible que estemos en la cúspide de una revolución en el monitoreo de voz y texto humano en línea por parte de la IA. Los avances futuros incluyen mejores capacidades de monitoreo independientes y autónomos para identificar formas previamente desconocidas de discurso de odio o cualquier otro patrón censurable que evolucione, dijo Moody.
AI pronto también podrá reconocer patrones en patrones de habla específicos y relacionar fuentes y sus otras actividades a través de análisis de noticias, archivos públicos, análisis de patrones de tráfico, monitoreo físico y muchas otras opciones, agregó.
Pero algunos expertos dicen que los humanos siempre necesitarán trabajar con computadoras para monitorear el discurso de odio.
"La IA por sí sola no funcionará", dijo Raicu. "Debe reconocerse como una herramienta imperfecta que debe usarse junto con otras respuestas".
Corrección 25/1/2022: Se agregó una cita de Justin Davis en el quinto párrafo desde el final para reflejar un correo electrónico posterior a la publicación.
