El martes, varios investigadores de IA, especialistas en ética, científicos de datos y científicos sociales publicó una publicación de blog argumentando que los investigadores académicos deberían dejar de realizar investigaciones que se esfuercen por predecir la probabilidad de que un individuo cometa un acto delictivo, basándose en variables como estadísticas delictivas y escaneos faciales.
La publicación del blog fue escrita por Coalition for Critical Technology, quien argumentó que la utilización de tales algoritmos perpetúa un ciclo de prejuicio contra las minorías. Muchos estudios sobre la eficacia del reconocimiento facial y los algoritmos policiales predictivos encuentran que los algoritmos tienden a juzgar a las minorías con más dureza, lo que, según los autores de la publicación del blog, se debe a las desigualdades en el sistema de justicia penal. El sistema de justicia produce datos sesgados y, por lo tanto, los algoritmos entrenados con estos datos propagan esos sesgos, argumenta la Coalición por la Tecnología Crítica. La coalición argumenta que la noción misma de «criminalidad» a menudo se basa en la raza y, por lo tanto, la investigación realizada sobre estas tecnologías asume la neutralidad de los algoritmos cuando en realidad no existe tal neutralidad.
Como informa The Verge, una gran editorial de trabajos académicos, Springer, planeaba publicar un estudio titulado «Un modelo de red neuronal profunda para predecir la criminalidad mediante el procesamiento de imágenes». Los autores del estudio afirmaron haber diseñado un algoritmo de reconocimiento facial capaz de predecir la posibilidad de que un individuo cometa un delito sin prejuicios y con una precisión de aproximadamente el 80 %. Sin embargo, la Coalición para la Tecnología Crítica escribió una carta abierta a Springer, instando a que el editor se abstenga de publicar el estudio o estudios futuros que involucren investigaciones similares.
“La circulación de este trabajo por parte de una editorial importante como Springer representaría un paso significativo hacia la legitimación y aplicación de investigaciones socialmente dañinas repetidamente desacreditadas en el mundo real”, argumenta la coalición.
Springer declaró que no publicaría el artículo, según lo informado por MIT Technology Review. Springer declaró que el documento se envió para una próxima conferencia, pero después del proceso de revisión por pares, el documento fue rechazado para su publicación.
La Coalición para la Tecnología Crítica argumenta que el documento de predicción de la criminalidad es solo una instancia de una tendencia dañina más grande en la que los ingenieros e investigadores de IA intentan predecir el comportamiento en función de datos compuestos por variables sensibles construidas socialmente. La coalición también argumenta que gran parte de la investigación se basa en ideas y teorías científicamente dudosas, que no están respaldadas por la evidencia disponible en biología y psicología. Como ejemplo, investigadores de Princeton y Google publicó un artículo advirtiendo que los algoritmos que afirman ser capaces de predecir la criminalidad en función de los rasgos faciales se basan en pseudociencias desacreditadas y peligrosas como la fisonomía. Los investigadores advirtieron contra el uso del aprendizaje automático para revitalizar teorías desacreditadas durante mucho tiempo que se utilizan para apoyar los sistemas racistas.
El impulso reciente del movimiento Black Lives Matter ha llevado a muchas empresas a utilizar algoritmos de reconocimiento facial para reevaluar el uso de estos sistemas. La investigación ha encontrado que estos algoritmos están frecuentemente sesgados, basados en datos de entrenamiento no representativos y sesgados.
Los firmantes de la carta, además de argumentar que los investigadores de IA deberían renunciar a la investigación sobre algoritmos de predicción de criminalidad, también han recomendado que los investigadores reevalúen cómo se juzga el éxito de los modelos de IA. Los miembros de la coalición recomiendan que el impacto social de los algoritmos sea una métrica del éxito, además de métricas como la precisión, el recuerdo y la exactitud. Como escriben los autores del artículo:
“Si el aprendizaje automático debe generar el ‘bien social’ promocionado en las propuestas de subvenciones y comunicados de prensa, los investigadores en este espacio deben reflexionar activamente sobre las estructuras de poder (y las opresiones concomitantes) que hacen posible su trabajo”.