Junto con todos los avances y ventajas que la inteligencia artificial ha exhibido hasta ahora, también hubo informes de efectos secundarios indeseables como el sesgo racial y de género en la IA. Así como AlertaCiencia.com plantea la pregunta «¿cómo pueden los científicos garantizar que los sistemas de pensamiento avanzados sean justos o incluso seguros?»
La respuesta puede estar en el informe de investigadores de Stanford y la Universidad de Massachusetts Amherst, titulado Prevención del comportamiento no deseado de las máquinas inteligentes. Como eurekaalert.org En su historia sobre este informe, la IA ahora está comenzando a manejar tareas delicadas, por lo que “los formuladores de políticas insisten en que los científicos informáticos ofrezcan garantías de que los sistemas automatizados han sido diseñados para minimizar, si no evitar por completo, los resultados no deseados, como el riesgo excesivo o racial y los prejuicios de género.»
El informe que presentó este equipo de investigadores “esboza una nueva técnica que traduce un objetivo confuso, como evitar el sesgo de género, en criterios matemáticos precisos que permitirían que un algoritmo de aprendizaje automático entrene una aplicación de IA para evitar ese comportamiento”.
El propósito era, como señala Emma Brunskill, profesora asistente de ciencias de la computación en Stanford y autora principal del artículo, «queremos promover una IA que respete los valores de sus usuarios humanos y justifique la confianza que depositamos en los sistemas autónomos».
La idea era definir resultados o comportamientos «inseguros» o «injustos» en términos matemáticos. Esto, según los investigadores, haría posible «crear algoritmos que puedan aprender de los datos sobre cómo evitar estos resultados no deseados con gran confianza».
El segundo objetivo era “desarrollar un conjunto de técnicas que facilitarían a los usuarios especificar qué tipo de comportamiento no deseado quieren restringir y permitir a los diseñadores de aprendizaje automático predecir con confianza que se puede confiar en un sistema entrenado con datos pasados cuando se aplica en circunstancias del mundo real”.
ScienceAlert dice que el equipo llamó a este nuevo sistema algoritmos ‘seldonianos’, en honor al personaje central de la famosa serie de novelas de ciencia ficción de Isaac Asimov. Philip Thomas, profesor asistente de ciencias de la computación en la Universidad de Massachusetts Amherst y primer autor del artículo, señala: «Si uso un algoritmo seldoniano para diabetes tratamiento, puedo especificar que el comportamiento indeseable significa niveles peligrosamente bajos de azúcar en la sangre o hipoglucemia”.
“Puedo decirle a la máquina: ‘Mientras intenta mejorar el controlador de la bomba de insulina, no haga cambios que aumenten la frecuencia de la hipoglucemia’. La mayoría de los algoritmos no le brindan una forma de poner este tipo de restricción en el comportamiento; no estaba incluido en los primeros diseños”.
Thomas agrega que «este marco seldoniano facilitará a los diseñadores de aprendizaje automático la creación de instrucciones para evitar el comportamiento en todo tipo de algoritmos, de una manera que les permita evaluar la probabilidad de que los sistemas entrenados funcionen correctamente en el mundo real».
Por su parte, Emma Brunskill también señala que “pensar en cómo podemos crear algoritmos que respeten mejor valores como la seguridad y la equidad es esencial, ya que la sociedad depende cada vez más de la IA”.