Cualquier sistema lo suficientemente grande tendrá errores, y parte de la corrección de estos errores es tener una base de datos de ellos que pueda analizarse en busca de impactos y posibles causas. Al igual que la FDA mantiene una base de datos para reacciones adversas a medicamentos, o la Junta Nacional de Seguridad en el Transporte mantiene una base de datos para accidentes de aviación, la base de datos de incidentes de IA es una base de datos destinado a catalogar las fallas de los sistemas de IA y para ayudar a los investigadores de IA a diseñar nuevos métodos para evitar estas fallas. Los creadores de la base de datos de incidentes de IA (AIID) esperan que ayude a las empresas de IA a desarrollar una IA más segura y ética.
¿Qué es el AIID?
El AIID es el producto de la organización Partnership on AI (PAI). PAI fue fundado inicialmente en 2016 por miembros de equipos de investigación de IA en grandes empresas tecnológicas como Facebook, Apple, Amazon, Google, IBM y Microsoft. Desde entonces, la organización ha reclutado miembros de muchas más organizaciones, incluidas varias organizaciones sin fines de lucro. En 2018, PAI se propuso crear un estándar de clasificación uniforme para las fallas de IA. Sin embargo, no hubo una colección de incidentes de IA en los que basar esta clasificación. Por esta razón, PAI creó el AIID.
Según TechTalks, el formato de AIID fue informado por la estructura de la base de datos de accidentes de aviación mantenida por la Junta Nacional de Seguridad en el Transporte. Desde que comenzaron a recopilarse informes en 1996, el sistema de viajes aéreos comerciales ha logrado aumentar la seguridad de la industria de la aviación mediante el archivo y el análisis de incidentes. La esperanza es que un repositorio similar de incidentes de IA pueda hacer que los sistemas de IA sean más seguros, más éticos y más confiables. AIID también se inspiró en la base de datos de vulnerabilidades y exposiciones comunes, que es un repositorio de fallas de software notables que abarcan una variedad de industrias y disciplinas diferentes.
Sean McGregor es el consultor técnico principal de IBM para Watson AI XPRIZE. McGregor también es responsable de supervisar el desarrollo de la base de datos real de AIID. McGregor explicó que el objetivo de AIID es, en última instancia, evitar que los sistemas de IA causen daños, o al menos disminuir la gravedad de los incidentes adversos. Como señaló McGregor, los sistemas de aprendizaje automático son sustancialmente más complejos e impredecibles que los sistemas de software tradicionales y, como resultado, no se pueden probar de la misma manera que otro software. Los sistemas de aprendizaje automático pueden cambiar su comportamiento de formas inesperadas. McGregor señala que la capacidad de aprendizaje de los sistemas de aprendizaje profundo puede significar que «las fallas son más probables, más complicadas y más peligrosas» cuando ingresan a un mundo no estructurado.
Más de 1000 incidentes relacionados con IA registrados
Desde que AIID se creó inicialmente, ha habido más de 1000 incidentes relacionados con la IA registrados en la base de datos. De todos los incidentes en la base de datos, los problemas relacionados con la imparcialidad de la IA fueron el tipo de incidente adverso más común. Muchos de estos incidentes de equidad involucran el uso de algoritmos de reconocimiento facial por parte de agencias gubernamentales. McGregor también señala que hay un número creciente de incidentes relacionados con la robótica que se agregan a la base de datos.
Los visitantes de la base de datos pueden ejecutar consultas, buscando incidentes en la base de datos según criterios como palabras clave, ID de incidente, fuente o autor. Por ejemplo, ejecutar una búsqueda de «Deepfake» arroja 7 informes, mientras que la búsqueda de «robots» arroja 158 informes.
Una base de datos centralizada para incidentes de mal funcionamiento y funcionamiento inesperado de la IA puede ayudar a los investigadores, ingenieros y especialistas en ética a supervisar el desarrollo y la implementación de los sistemas de IA. Los gerentes de productos de las empresas de tecnología podrían usar el AIID para ver si hay algún problema potencial antes de emplear los sistemas de recomendación de IA, o un ingeniero de IA podría tener una idea de los posibles sesgos que deben corregirse al crear la aplicación de IA. Del mismo modo, los oficiales de riesgo podrían usar la base de datos para determinar los posibles efectos secundarios negativos asociados con un modelo de IA, lo que les permitiría planificar con anticipación y desarrollar medidas para mitigar los daños potenciales.
La arquitectura subyacente de AIID está destinada a ser flexible, ya que permite la creación de nuevas herramientas para consultar la base de datos y extraer información significativa. The Partnership on AI y McGregor colaborarán para diseñar una taxonomía flexible que pueda usarse para clasificar todas las diferentes formas de incidentes de IA. El equipo espera que una vez que se haya creado la taxonomía flexible, se pueda combinar con un sistema automatizado que registrará automáticamente los incidentes de IA.
“La comunidad de IA ha comenzado a compartir registros de incidentes entre sí para motivar cambios en sus productos, procedimientos de control y programas de investigación”. McGregor explicado a través de TechTalks. “El sitio se lanzó públicamente en noviembre, por lo que recién estamos comenzando a darnos cuenta de los beneficios del sistema”.