julia stoyanoviches profesor en la Escuela de Ingeniería Tandon de la Universidad de Nueva York y director fundador de la Centro de IA Responsable. Recientemente entregó testimonio al Comité de Tecnología del Consejo de la Ciudad de Nueva York sobre un proyecto de ley propuesto que regularía el uso de la IA para las decisiones de contratación y empleo.
Usted es el director fundador del Centro para la IA responsable de la NYU. ¿Podría compartir con nosotros algunas de las iniciativas emprendidas por esta organización?
co-dirijo el Centro para la IA Responsable (R/AI) en NYU con Steven Kuyan. Steven y yo tenemos intereses y experiencia complementarios. Soy un académico, con experiencia en informática y con un gran interés en el trabajo inspirado en el uso en la intersección de la ingeniería de datos, la ciencia de datos responsable y la política. Steven es el director gerente de la NYU Tandon Future Labs, una red de incubadoras y aceleradoras de startups que ya ha tenido un tremendo impacto económico en la ciudad de Nueva York. Nuestra visión para la R/IA es ayudar a que la «IA responsable» sea sinónimo de «IA», a través de una combinación de investigación aplicada, educación pública y compromiso, y ayudando a las empresas grandes y pequeñas, especialmente a las pequeñas, a desarrollar una IA responsable.
En los últimos meses, R/AI ha participado activamente en conversaciones sobre la supervisión de ADS (Automated Decision Systems). Nuestro enfoque se basa en una combinación de actividades educativas y compromiso político.
La ciudad de Nueva York está considerando una propuesta de ley, en 1894, que regularía el uso de ADS en la contratación a través de una combinación de auditoría y divulgación pública. R/AI envió comentarios públicos sobre el proyecto de ley, basados en nuestra investigación y en los conocimientos que recopilamos de los solicitantes de empleo a través de varios compromiso público actividades.
También colaboramos con el laboratorio del gobierno en NYU y con el Instituto de Ética en IA de la Universidad Técnica de Munich en un curso gratuito en línea llamado “Ética de la IA: Perspectivas globales” que se lanzó a principios de este mes.
Otro proyecto reciente de R/AI que ha recibido bastante atención es nuestra serie de cómics «Data, Responsably». El primer volumen de la serie se llama “Mirror, Mirror”, está disponible en inglés, español y francés, y es accesible con un lector de pantalla en los tres idiomas. El cómic consiguió el Innovación del Mes premio de Metro Lab Network y GovTech, y fue cubierto por el estrella de torontoentre otros.
¿Cuáles son algunos de los problemas actuales o potenciales con el sesgo de la IA para las decisiones de contratación y empleo?
Esta es una pregunta compleja que requiere que primero tengamos claro qué entendemos por “sesgo”. Lo más importante a tener en cuenta es que los sistemas de contratación automatizados son «análisis predictivos»: predicen el futuro en función del pasado. El pasado está representado por datos históricos sobre las personas que fueron contratadas por la empresa y sobre cómo se desempeñaron estas personas. Luego, el sistema se «entrena» con estos datos, lo que significa que identifica patrones estadísticos y los usa para hacer predicciones. Estos patrones estadísticos son la “magia” de la IA, en eso se basan los modelos predictivos. Claramente, pero lo que es más importante, los datos históricos de los que se extrajeron estos patrones no dicen nada sobre las personas que no fueron contratadas porque simplemente no sabemos cómo les habría ido en el trabajo que no obtuvieron. Y aquí es donde entra en juego el sesgo. Si contratamos sistemáticamente a más personas de grupos demográficos y socioeconómicos específicos, la pertenencia a estos grupos y las características que acompañan a la pertenencia a ese grupo se convertirán en parte del modelo predictivo. Por ejemplo, si solo vemos que se contrata a graduados de las mejores universidades para puestos ejecutivos, entonces el sistema no puede aprender que a las personas que fueron a una escuela diferente también les podría ir bien. Es fácil ver un problema similar para el género, la raza y el estado de discapacidad.
El sesgo en la IA es mucho más amplio que solo el sesgo en los datos. Surge cuando intentamos usar tecnología donde una solución técnica es simplemente inapropiada, o cuando establecemos objetivos incorrectos para la IA, a menudo porque no tenemos un conjunto diverso de voces en la mesa de diseño, o cuando renunciamos a nuestro agencia en las interacciones humano-IA después de que se implementa la IA. Cada una de estas razones para el sesgo merece su propia discusión que probablemente durará más de lo que permite el espacio en este artículo. Entonces, para mantenerme enfocado, permítanme volver al sesgo en los datos.
Cuando explico el sesgo en los datos, me gusta usar la metáfora del reflejo del espejo. Los datos son una imagen del mundo, su reflejo en el espejo. Cuando pensamos en el sesgo en los datos, cuestionamos este reflejo. Una interpretación del «sesgo en los datos» es que el reflejo está distorsionado: nuestro espejo subrepresenta o sobrerrepresenta algunas partes del mundo, o distorsiona las lecturas. Otra interpretación del “sesgo en los datos” es que, incluso si el reflejo fuera 100% fiel, seguiría siendo un reflejo del mundo tal como es hoy, y no de cómo podría o debería ser. Es importante destacar que no depende de los datos o de un algoritmo decirnos si es un reflejo perfecto de un mundo roto, o un reflejo roto de un mundo perfecto, o si estas distorsiones se combinan. Depende de las personas (individuos, grupos, sociedad en general) llegar a un consenso sobre si estamos bien con el mundo tal como es o, si no, cómo debemos mejorarlo.
Volviendo al análisis predictivo: cuanto más fuertes sean las disparidades en los datos, como un reflejo del pasado, es más probable que los modelos predictivos las detecten y que se repliquen, e incluso exacerben, en el futuro.
Si nuestro objetivo es mejorar nuestras prácticas de contratación teniendo en cuenta la equidad y la diversidad, entonces simplemente no podemos externalizar este trabajo a las máquinas. Tenemos que hacer el arduo trabajo de identificar las verdaderas causas del sesgo en la contratación y el empleo de frente, y de negociar una solución socio-jurídica-técnica con aportes de todas las partes interesadas. La tecnología ciertamente tiene un papel que desempeñar para ayudarnos a mejorar el status quo: puede ayudarnos a ser honestos acerca de nuestras metas y resultados. Pero pretender que eliminar el sesgo de los datos o el análisis predictivo resolverá los problemas profundamente arraigados de discriminación en la contratación es, en el mejor de los casos, ingenuo.
Recientemente entregó su testimonio ante el Comité de Tecnología del Consejo de la Ciudad de Nueva York, un comentario sorprendente fue el siguiente: “Encontramos que tanto el presupuesto del anunciante como el contenido del anuncio contribuyen significativamente al sesgo de la entrega de anuncios de Facebook. Críticamente, observamos un sesgo significativo en la entrega a lo largo de líneas raciales y de género para anuncios ‘reales’ de oportunidades de empleo y vivienda a pesar de los parámetros de orientación neutrales”. ¿Cuáles son algunas soluciones para evitar este tipo de sesgo?
Este comentario que hice se basa en un brillante artículo de Ali et al. llamado «Discriminación a través de la optimización: cómo la entrega de anuncios de Facebook puede conducir a resultados sesgados». Los autores encuentran que el propio mecanismo de entrega de anuncios es responsable de introducir y amplificar los efectos discriminatorios. No hace falta decir que este hallazgo es muy problemático, especialmente porque se desarrolla en el contexto de la opacidad en Facebook y otras plataformas: Google y Twitter. La carga recae en las plataformas para demostrar de manera urgente y convincente que pueden dominar los efectos discriminatorios como los encontrados por Ali et al. Aparte de eso, no puedo encontrar una justificación para el uso continuo de la orientación personalizada de anuncios en vivienda, empleo y otros dominios donde están en juego la vida y el sustento de las personas.
¿Cómo pueden los científicos de datos y los desarrolladores de IA evitar mejor que otros sesgos no intencionales se introduzcan en sus sistemas?
No depende totalmente de los científicos de datos, ni de ningún grupo de partes interesadas, garantizar que los sistemas técnicos estén alineados con los valores sociales. Pero los científicos de datos están, de hecho, al frente de esta batalla. Como científico informático, puedo dar fe del atractivo de pensar que los sistemas que diseñamos son «objetivos», «óptimos» o «correctos». El éxito de la informática y la ciencia de datos, la influencia y el uso generalizado, es tanto una bendición como una maldición. Los tecnólogos ya no podemos darnos el lujo de escondernos detrás de los objetivos inalcanzables de objetividad y corrección. La carga recae sobre nosotros para pensar cuidadosamente sobre nuestro lugar en el mundo y educarnos sobre los procesos sociales y políticos en los que estamos impactando. La sociedad no puede permitirse que nos movamos rápido y rompamos cosas, debemos reducir la velocidad y reflexionar.
Es simbólico que la filosofía fuera una vez la pieza central de todo el discurso científico y social, luego vinieron las matemáticas y luego la informática. Ahora, con la ciencia de datos en el centro del escenario, hemos cerrado el círculo y necesitamos volver a conectarnos con nuestras raíces filosóficas.
Otra recomendación que hizo es crear un público informado. ¿Cómo informamos a un público que puede no estar familiarizado con la IA o comprender los problemas asociados con el sesgo de la IA?
Existe una gran necesidad de educar a las personas no técnicas sobre la tecnología y de educar a las personas técnicas sobre sus implicaciones sociales. El logro de estos dos objetivos requerirá un fuerte compromiso y una inversión sustancial por parte de nuestro gobierno. Necesitamos desarrollar materiales y metodologías educativas para todos estos grupos, y encontrar formas de incentivar la participación. Y no podemos dejar este trabajo en manos de entidades comerciales. La Unión Europea está a la cabeza, con varios gobiernos brindando apoyo para educación básica de IA de sus ciudadanos, e incorporando planes de estudios de IA en los programas de secundaria. Nosotros en R/AI estamos trabajando en un curso disponible públicamente y ampliamente accesible, con el objetivo de crear un público comprometido que ayudará a que la IA sea lo que NOSOTROS queremos que sea. Estamos muy entusiasmados con este trabajo, manténgase atento para obtener más información el próximo mes.
Gracias por las excelentes respuestas detalladas, los lectores que deseen obtener más información deben visitar Centro de IA Responsable.