Conclusiones clave
- Twitter espera remediar lo que los usuarios llaman sesgo racial en su software de vista previa de imágenes.
- El llamado del gigante tecnológico podría ser el reconocimiento cultural que la industria necesita para abordar los problemas de diversidad.
- La f alta de diversidad en la tecnología está perjudicando la eficacia de sus avances tecnológicos.
Twitter está listo para lanzar una investigación sobre su algoritmo de recorte de imágenes después de que se convirtió en un tema de moda que provocó una mayor conversación sobre cuestiones de diversidad en la industria tecnológica.
El gigante de las redes sociales apareció en los titulares después de que los usuarios descubrieran un aparente sesgo racial en su algoritmo de vista previa de imágenes. El descubrimiento ocurrió después de que el usuario de Twitter Colin Madland usó la plataforma para denunciar que Zoom no reconocía a sus colegas negros que usaban la tecnología de pantalla verde, pero en una gran muestra de ironía descubrió que el algoritmo de recorte de imágenes de Twitter se comportaba de manera similar y le quitaba prioridad a los rostros negros.
Ciertamente, es un gran problema para cualquier minoría, pero creo que también hay un problema mucho más amplio.
Otros usuarios se sumaron a la tendencia y generaron una serie de tuits virales que mostraban que el algoritmo priorizaba constantemente las caras blancas y de piel más clara, desde personas hasta personajes de dibujos animados e incluso perros. Este fracaso es indicativo de un movimiento cultural más grande en la industria de la tecnología que ha fallado sistemáticamente en tener en cuenta a los grupos minoritarios, lo que se ha extendido al aspecto técnico.
"Hace que las minorías se sientan terribles, como si no fueran importantes, y puede usarse para otras cosas que pueden causar daños más graves en el futuro", Erik Learned-Miller, profesor de informática en la Universidad. de Massachusetts, dijo en una entrevista telefónica."Una vez que haya decidido para qué se puede usar una pieza de software y todos los daños que pueden ocurrir, comenzamos a hablar sobre las formas de minimizar la posibilidad de que sucedan".
Canary en la línea de tiempo
Twitter utiliza redes neuronales para recortar automáticamente las imágenes incrustadas en los tweets. Se supone que el algoritmo detecta caras para obtener una vista previa, pero parece tener un sesgo blanco notable. La portavoz de la empresa, Liz Kelley, tuiteó una respuesta a todas las inquietudes.
Kelley tuiteó, "gracias a todos los que plantearon esto. Probamos el sesgo antes de enviar el modelo y no encontramos evidencia de sesgo racial o de género en nuestras pruebas, pero está claro que tenemos más análisis para abriremos nuestro trabajo para que otros puedan revisarlo y replicarlo".
Coautor del libro blanco "Tecnologías de reconocimiento facial en la naturaleza: una llamada para una oficina federal", Learned-Miller es un investigador líder en los excesos del software de aprendizaje de IA basado en el rostro. Ha estado discutiendo el posible impacto negativo del software de aprendizaje de imágenes durante años y ha hablado sobre la importancia de crear una realidad en la que estos sesgos se mitiguen lo mejor que puedan.
Muchos algoritmos para la tecnología de reconocimiento facial usan conjuntos de referencia para datos, a menudo conocidos como conjuntos de entrenamiento, que son una colección de imágenes que se utilizan para ajustar el comportamiento del software de aprendizaje de imágenes. En última instancia, permite que la IA reconozca fácilmente una amplia gama de rostros. Sin embargo, estos conjuntos de referencia pueden carecer de un grupo diverso, lo que genera problemas como los experimentados por el equipo de Twitter.
"Ciertamente, es un gran problema para cualquier minoría, pero creo que también hay un problema mucho más amplio", dijo Learned-Miller. "Se relaciona con la f alta de diversidad en el sector tecnológico y la necesidad de una fuerza reguladora centralizada para mostrar los usos adecuados de este tipo de software poderoso propenso al mal uso y al abuso".
Tecnología sin diversidad
Twitter puede ser la última empresa de tecnología en el tajo, pero esto está lejos de ser un problema nuevo. El campo de la tecnología sigue siendo un campo predominantemente blanco, perpetuamente dominado por hombres, y los investigadores han descubierto que la f alta de diversidad provoca una réplica de los desequilibrios históricos sistémicos en el software desarrollado.
En un informe de 2019 del AI Now Institute de la Universidad de Nueva York, los investigadores descubrieron que las personas negras representan menos del 6 por ciento de la fuerza laboral en las principales empresas tecnológicas del país. De manera similar, las mujeres solo representan el 26 por ciento de los trabajadores en el campo, una estadística inferior a su participación en 1960.
Hace que las minorías se sientan terribles, como si no fueran importantes, y puede usarse para otras cosas que pueden causar daños más graves en el futuro.
Superficialmente, estos problemas de representación pueden parecer mundanos, pero en la práctica, el daño causado puede ser profundo. Los investigadores del informe del AI Now Institute sugieren que esto se relaciona causalmente con problemas con el software que a menudo no tienen en cuenta las poblaciones que no son blancas ni masculinas. Ya sea que los dispensadores de jabón infrarrojos no detecten la piel más oscura o que el software de inteligencia artificial de Amazon no diferencie los rostros femeninos de los de sus homólogos masculinos, el hecho de no abordar la diversidad en la industria tecnológica conduce a que la tecnología no pueda lidiar con un mundo diverso.
"Hay muchas personas que no han pensado en los problemas y realmente no se dan cuenta de cómo estas cosas pueden causar daño y cuán significativos son estos daños", sugirió Learned-Miller sobre el aprendizaje de imágenes de IA. "¡Con suerte, ese número de personas se está reduciendo!"
