En el transcurso del año pasado, parece que se está prestando cada vez más atención a garantizar que la IA se utilice de manera ética. Google y Microsoft tienen ambos recientemente advirtió a los inversores que el uso indebido de algoritmos de IA o algoritmos de IA mal diseñados presenta riesgos éticos y legales. Mientras tanto, el estado de California acaba de decidir aprobar un proyecto de ley que prohíbe el uso de la tecnología de reconocimiento facial por parte de las agencias de aplicación de la ley de California.
Recientemente, nuevas empresas como Arthur han intentado diseñar herramientas que ayuden a los ingenieros de IA a cuantificar y calificar el rendimiento de sus modelos de aprendizaje automático. Según informa Wired, Arthur está tratando de brindarles a los desarrolladores de IA un conjunto de herramientas que les facilitará descubrir problemas al diseñar aplicaciones financieras, como revelar sesgos en decisiones de inversión o préstamos.
Los esfuerzos de Arthur están dirigidos a abordar la El problema de la “caja negra” de la IA. El problema de la caja negra en la IA describe cómo, a diferencia del código tradicional, que puede ser fácilmente interpretado por aquellos que saben cómo leerlo, los sistemas de aprendizaje automático asignan características al comportamiento sin revelar las razones por las que se seleccionan estos comportamientos o cómo se han interpretado las características. En otras palabras, en un sistema de caja negra, la implementación exacta del algoritmo es opaca.
Los sistemas de aprendizaje automático funcionan extrayendo patrones de los datos de entrada y razonando sobre estos patrones. Esto se logra esencialmente haciendo que una computadora escriba su propio código mediante la manipulación de ciertas funciones matemáticas. Para abordar este problema, los investigadores e ingenieros necesitan herramientas que faciliten la observación y el análisis del comportamiento del software de aprendizaje automático. Startups como Arthur reconocen la dificultad de resolver este problema y no pretenden tener las soluciones óptimas, pero esperan avanzar en esta área y hacer que abrir la caja negra sea un poco más fácil. Se espera que si los sistemas de IA se pueden analizar más fácilmente, también será más fácil corregir problemas como el sesgo.
Grandes empresas como Facebook ya cuentan con algunas herramientas para analizar el funcionamiento interno de los sistemas de aprendizaje automático. Por ejemplo, Facebook tiene una herramienta llamada Fairness Flow que tiene como objetivo asegurarse de que los anuncios que recomiendan trabajos a las personas se dirijan a personas de diferentes orígenes. Sin embargo, es probable que los grandes equipos de IA no quieran invertir tiempo en la creación de tales herramientas y, por lo tanto, existe una oportunidad comercial para las empresas que desean crear herramientas de monitoreo para que las utilicen las empresas de IA.
Arthur se enfoca en crear herramientas que permitan a las empresas mantener y monitorear mejor los sistemas de inteligencia artificial después de que el sistema ya se haya implementado. Las herramientas de Arthur están destinadas a permitir que las empresas vean cómo cambia el rendimiento de su sistema con el tiempo, lo que teóricamente permitiría a las empresas detectar posibles manifestaciones de sesgo. Si el software de recomendación de préstamos de una empresa comienza a excluir ciertos grupos de clientes, se podría establecer una bandera que indique que el sistema necesita revisión para garantizar que no discrimine a los clientes en función de atributos sensibles como la raza o el género.
Sin embargo, Arthur no es la única empresa que crea herramientas que permiten a las empresas de inteligencia artificial revisar el rendimiento de sus algoritmos. Muchas nuevas empresas están invirtiendo en la creación de herramientas para combatir los sesgos y garantizar que los algoritmos de IA se utilicen de manera ética. Weights & Biases es otra startup que crea herramientas para ayudar a los ingenieros de aprendizaje automático a analizar problemas potenciales con su red. Toyota ha utilizado las herramientas creadas por Weights & Biases para monitorear sus dispositivos de aprendizaje automático mientras entrenan. Mientras tanto, la startup Fiddler está trabajando para crear un conjunto diferente de herramientas de monitoreo de IA. IBM incluso ha creado su propio servicio de monitoreo llamado OpenScale.
Liz O’Sullivan, una de las co-creadoras de Arthur, explicó que el interés en crear herramientas para ayudar a resolver el problema de Black Box está impulsado por una creciente conciencia del poder de la IA.
“La gente está empezando a darse cuenta de lo poderosos que pueden ser estos sistemas y que necesitan aprovechar los beneficios de una manera responsable”. dijo O’Sullivan.