Conclusiones clave
- Según los informes, Zoom dijo que usaría IA para evaluar el sentimiento o el nivel de participación de un usuario.
- Los grupos de derechos humanos le piden a Zoom que reconsidere su plan debido a problemas de privacidad y seguridad de los datos.
- Algunas empresas también utilizan software de detección de emociones durante las entrevistas para evaluar si el usuario está prestando atención.
El creciente uso de la inteligencia artificial (IA) para monitorear las emociones humanas genera preocupaciones sobre la privacidad.
Las organizaciones de derechos humanos están pidiendo a Zoom que retrase su plan para introducir inteligencia artificial que analiza las emociones en su software de videoconferencia. Según se informa, la empresa ha dicho que utilizará IA para evaluar el sentimiento o el nivel de compromiso de un usuario.
"Los expertos admiten que el análisis de emociones no funciona", escribió el consorcio de grupos de derechos humanos, incluida la ACLU, en una carta a Zoom. "Las expresiones faciales a menudo están desconectadas de las emociones subyacentes, y la investigación ha encontrado que ni siquiera los humanos pueden leer o medir con precisión las emociones de los demás en algún momento. El desarrollo de esta herramienta agrega credibilidad a la pseudociencia y pone su reputación en juego".
Zoom no respondió de inmediato a una solicitud de comentarios de Lifewire.
Controlar tus emociones
Según el artículo del Protocolo, el sistema de monitoreo de Zoom llamado Q for Sales verificaría la proporción de tiempo de conversación de los usuarios, el retraso en el tiempo de respuesta y los cambios frecuentes de orador para rastrear qué tan comprometida está la persona. Zoom usaría estos datos para asignar puntajes entre cero y 100, donde los puntajes más altos indican una mayor participación o sentimiento.
Los grupos de derechos humanos afirman que el software podría discriminar a las personas con discapacidades o de ciertas etnias al suponer que todos usan las mismas expresiones faciales, patrones de voz y lenguaje corporal para comunicarse. Los grupos también sugieren que el software podría ser un riesgo para la seguridad de los datos.
"La recolección de datos profundamente personales podría convertir a cualquier entidad que implemente esta tecnología en un objetivo para espiar a las autoridades gubernamentales y piratas informáticos maliciosos", según la carta.
Julia Stoyanovich, profesora de informática e ingeniería en la Universidad de Nueva York, le dijo a Lifewire en una entrevista por correo electrónico que es escéptica sobre las afirmaciones detrás de la detección de emociones.
"No veo cómo puede funcionar esa tecnología: la expresión emocional de las personas es muy individual, muy dependiente de la cultura y muy específica del contexto", dijo Stoyanovich."Pero, quizás aún más importante, no veo por qué querríamos que estas herramientas funcionaran. En otras palabras, tendríamos aún más problemas si funcionaran bien. Pero quizás incluso antes de pensar en los riesgos, deberíamos pregunte: ¿cuáles son los beneficios potenciales de esa tecnología?"
Zoom no es la única empresa que utiliza software de detección de emociones. Theo Wills, director sénior de privacidad de Kuma LLC, una empresa consultora de privacidad y seguridad, le dijo a Lifewire por correo electrónico que durante las entrevistas se usa un software para detectar emociones para evaluar si el usuario está prestando atención. También se está probando en la industria del transporte para monitorear si los conductores parecen somnolientos, en plataformas de video para evaluar el interés y adaptar las recomendaciones, y en tutoriales educativos para determinar si un método de enseñanza en particular es atractivo.
Wills sostuvo que la controversia en torno al software de monitoreo de emociones es más una cuestión de ética de datos que de privacidad. Ella dijo que se trata de que el sistema tome decisiones del mundo real basadas en corazonadas.
"Con esta tecnología, ahora estás asumiendo la razón por la que tengo una expresión particular en mi rostro, pero el ímpetu detrás de una expresión varía ampliamente debido a cosas como la educación social o cultural, los comportamientos familiares, las experiencias pasadas o el nerviosismo. en el momento", agregó Wills. "Basar el algoritmo en una suposición es intrínsecamente defectuoso y potencialmente discriminatorio. Muchas poblaciones no están representadas en la población en la que se basan los algoritmos, y se debe priorizar la representación adecuada antes de que se use".
Consideraciones prácticas
Los problemas planteados por el software de seguimiento de emociones pueden ser tanto prácticos como teóricos. Matt Heisie, cofundador de Ferret.ai, una aplicación impulsada por IA que proporciona inteligencia de relaciones, le dijo a Lifewire en un correo electrónico que los usuarios deben preguntar dónde se realiza el análisis de rostros y qué datos se almacenan. ¿El estudio se realiza en grabaciones de llamadas, se procesa en la nube o en el dispositivo local?
Además, Heisie preguntó, a medida que el algoritmo aprende, ¿qué datos recopila sobre el rostro o los movimientos de una persona que podrían desenredarse del algoritmo y usarse para recrear la biometría de alguien? ¿La empresa almacena instantáneas para verificar o validar los aprendizajes del algoritmo, y se notifica al usuario sobre estos nuevos datos derivados o imágenes almacenadas que podrían recopilarse de sus llamadas?
"Todos estos son problemas que muchas empresas han resuelto, pero también hay empresas que se han visto sacudidas por escándalos cuando resulta que no lo han hecho correctamente", dijo Heisie. "Facebook es el caso más significativo de una empresa que revirtió su plataforma de reconocimiento facial por preocupaciones sobre la privacidad del usuario. La empresa matriz Meta ahora está retirando las funciones AR de Instagram en algunas jurisdicciones como Illinois y Texas debido a las leyes de privacidad que rodean los datos biométricos".
