Conclusiones clave
- ToxMod, de la empresa Modulate, con sede en Boston, afirma detectar y actuar contra el habla disruptiva automáticamente, en tiempo real.
- En lugar de estar restringido por un lenguaje simple, ToxMod utiliza el aprendizaje automático para descubrir intangibles como la emoción, el volumen y el ritmo.
- ToxMod actualmente está diseñado para usarse con salas de chat en el juego, pero no hay razón para que no pueda llegar a su canal de Twitch.
Una empresa con sede en Boston está utilizando el aprendizaje automático para crear lo que anuncia como el primer servicio de moderación nativo de voz del mundo, que puede diferenciar entre lo que se dice y lo que significa.
ToxMod es un intento de resolver la paradoja de moderar cualquier espacio abierto en Internet; no hay suficientes humanos para satisfacer la demanda, pero los algoritmos, los filtros y un sistema de informes no entienden los matices.
Con la base de datos de ToxMod, puede rastrear factores en el habla de los jugadores, como la emoción y el volumen, lo que lo ayuda a distinguir entre un lapso momentáneo y un patrón de comportamiento. Recientemente se anunció como una adición al juego de fútbol americano 7v7 Gridiron, actualmente en Steam Early Access.
"Todo el mundo sabe que el acoso, el discurso de odio y la toxicidad en el chat de voz y los juegos es un problema enorme. Eso se entiende comúnmente", dijo Carter Huffman, director de tecnología y cofundador de Modulate, en una reunión de Google con Alambre de vida. "Podríamos tomar las funciones que estábamos extrayendo a través de esta variedad de sistemas de aprendizaje automático y unirlas en un sistema que tuviera en cuenta todo este conocimiento experto que estábamos aprendiendo de la comunidad."
Todos saluden a nuestros nuevos moderadores de robots
Modulate ha estado trabajando en ToxMod desde el otoño pasado y lo ha incorporado como uno de los tres servicios principales de la empresa. También ofrece VoiceWear, un disfrazador de voz con tecnología de aprendizaje automático, y VoiceVibe, un servicio agregador que permite a los usuarios saber de qué están hablando las personas de sus comunidades.
Cuando ToxMod se ejecuta en un chat, se puede programar a través del panel de administración de Modulate para realizar una variedad de acciones automáticas, como emitir advertencias, silenciar a los jugadores o ajustar el volumen individualmente.
Utiliza un sistema de clasificación en el que su instancia local es la primera en tomar medidas, antes de consultar con los servidores de Modulate para obtener confirmación. Luego, finalmente se intensifica hasta el punto en que podría requerir la intervención humana. Al ejecutar cada verificación por turno, lo que Modulate llama "puertas de clasificación", la idea es que ToxMod le brinde a un pequeño equipo de moderadores las herramientas con las que moderar de manera efectiva a una comunidad mucho más grande.
"La triste verdad es que todo el mundo ha tenido esa experiencia, de intentar usar el chat de voz en cualquier plataforma en la que estuvieras, y descubrir que, muchacho, era una mala idea", dijo Mike Pappas, CEO de Modulate, en un videollamada con Lifewire. "Poder entrar y decir: 'Esto no es el Salvaje Oeste. Hay reglas'. Creo que eso es muy importante".
Romper el sistema
Naturalmente, la segunda o tercera pregunta sobre ToxMod es cómo romperlo.
Con muchos sistemas de moderación automática, como los algoritmos que gobiernan Twitter, es fácil jugar con ellos contra personas que no te gustan. Simplemente informe en masa a su objetivo con algunas cuentas de marionetas y se comerán una prohibición de manera confiable.
"En un nivel básico, ToxMod no necesita depender de esos informes de jugadores adicionales", dijo Pappas. "Todavía es capaz de producir estimaciones sólidas de los delitos a los que debemos [prestar] atención. No tienes que preocuparte de que los jugadores intenten jugar con el sistema, ya que no hay nada que jugar.
Todo el mundo sabe que el acoso, la incitación al odio y la toxicidad en el chat de voz y los juegos son un problema enorme.
"Todo lo que tienes control como reproductor es tu propio audio", continuó Pappas. "Lo peor que puedes hacer es ser una persona menos mala para que no te marquemos como un mal actor, lo que diría que es algo cercano al éxito de la misión".
En general, entonces, la idea detrás de ToxMod es un intento de recuperación activa. Muchos jugadores en este punto han experimentado algún tipo de acoso por parte de extraños al azar en canales de voz abiertos, que van desde insultos aleatorios hasta amenazas activas. Como resultado, los jugadores tienden a evitar el chat de voz en general y prefieren renunciar a su comodidad a cambio de su propia tranquilidad.
"Lo que esperamos ver [son malos actores pasando] mucho menos tiempo en el chat de voz antes de ser encontrados y eliminados", dijo Pappas."Eso tiene más que un impacto lineal. Cuando todo el mundo ve el chat de voz como un lugar más seguro, más buenos actores están dispuestos a volver al chat de voz y probarlo. Creo que todo puede girar en una dirección positiva".
