Una startup que cuenta con un consejo asesor de luminarias militares del gobierno anterior ha lanzado una nueva plataforma diseñada para evaluar la seguridad y la capacidad de implementación de las aplicaciones de IA. Se dice que los primeros en adoptar el sistema incluyen a la Fuerza Aérea de EE. UU. y al Departamento de Seguridad Nacional.
La plataforma se llama VESPR, de CalypsoAI, fundada en 2018, con sede en Silicon Valley, Dublín, y una ubicación oficialmente “no revelada” en Virginia: tierra firme para la CIA en Langley.
VESPR es un sistema de gestión de riesgos modelo (MRM) diseñado para facilitar un sistema de acreditación que cumpla con las normas federales para los algoritmos implementados. Ofrece un entorno de interfaz gráfica de usuario de estilo panel de control fácil de usar y una interfaz CLI para un uso más avanzado.
Click para agrandar. Fuente: https://www.youtube.com/watch?v=lMhS6j7t2pI
VESPR se basa en los estándares de validación, verificación y acreditación de aprendizaje automático de CalypsoAI, y presenta bibliotecas de aprendizaje automático antagónicas hechas a mano. También ofrece rutinas de prueba de estrés automatizadas para posibles algoritmos desplegables.
Grupo de trabajo nacional de recursos de investigación de inteligencia artificial
El momento del lanzamiento puede estar relacionado con el de ayer. lanzar por la administración de Biden de un nuevo Grupo de Trabajo Nacional de Recursos de Investigación de Inteligencia Artificial, un organismo diseñado para servir como un comité asesor federal de conformidad con el Congreso Ley de Iniciativa Nacional de IA de 2020.
Ha ido aumentando la presión sobre los EE. UU. y en todo el mundo por estándares regulatorios significativos para los sistemas de aprendizaje automático, sobre todo en áreas de misión crítica como la infraestructura clave y el uso militar. Dado que los sistemas de ML aún se encuentran en una etapa formativa y una tasa de progreso rápida, representan un recurso relativamente inestable y con frecuencia controvertido del cual ahora es esencial identificar algoritmos analíticos replicables y confiables, si esto resulta posible.
En abril, CalypsoAI publicó su apoyo a la Ley de Fronteras sin Finun proyecto de ley del Congreso diseñado para reformar la financiación de la ciencia frente a la creciente eminencia de China como potencia de IA, aunque la ley finalmente fue diluido en la etapa del Senado.
Validación para AI federal
Según el comunicado de prensa de VESPR, las áreas cubiertas por el marco incluyen la visión por computadora y el procesamiento del lenguaje natural (NLP).
CalypsoAI afirma que VESPR se creó “con aportes críticos de los clientes de seguridad nacional existentes y nació de años de investigación financiada de forma independiente sobre el aprendizaje automático adversario”.
Las imágenes del sistema que se ven en un video promocional (ver el final del artículo) parecen incluir rutinas de detección y/o simulación para el envenenamiento de datos y la inyección de ruido, proporcionando simulaciones para las acciones de posibles atacantes a los sistemas implementados.
Click para agrandar.
El sistema parece utilizar datos históricos de acciones nacionales y extranjeras. Las clases objetivo presentadas incluyen ‘Protestas’ y ‘Disturbios’, además de los ‘Desarrollos estratégicos’ menos claros. Los incidentes de terrorismo nacional también parecen estar incluidos en las bases de datos de referencia del sistema, con ‘Violencia contra civiles’ como otra clase de objetivo disponible. Otras clases de objetivos disponibles incluyen ‘Batallas’ y ‘Explosiones/Violencia remota’.
Click para agrandar.
El sistema parece permitir la protección de características en una sección de configuración de “gestión de BIAS”, aparentemente diseñada para combatir el sobreajuste o para evitar la eliminación no deseada de eventos atípicos menores que pueden ser de interés en una rutina analítica. En el video, VESPR está procesando datos históricos tabulares sobre ‘Ucrania’.
Más allá de este bombardeo promocional inicial, no es probable (quizás por diseño) que escuchemos mucho más sobre este producto SaaS orientado al gobierno, sin importar cómo le vaya; comparte su nombre con una franquicia de cafetería, una aplicación de citas sociales y un álbum de transmisión, y el modelo de química VSEPR lo derrota implacablemente en los resultados clasificados.
CalypsoAI recibió $ 13 millones en la recaudación de fondos de la Serie A de Paladin Capital Venture Group en julio de 2020. Otros inversores incluido 8VC, Lockheed Martin Ventures, Manta Ray Ventures, Frontline Ventures, Lightspeed Venture Partners y Pallas Ventures.
En una publicación de blog en el sitio de la empresa, el fundador de CalypsoAI, Neil Serebryany, quien realizó un trabajo de investigación no especificado en el Departamento de Defensa en 2018, afirma que la empresa se fundó como una posible solución al temor de los gobiernos de implementar sistemas algorítmicos avanzados en un clima no regulado. :
“La razón principal de este miedo a los proyectos de IA, que lleva a que sean abandonados dentro del gobierno, suena prosaico, pero en realidad es bastante complejo. Estaban siendo abandonados debido a la falta de garantía de calidad. […] Los modelos de IA no se pueden evaluar de la misma manera que los modelos de software tradicionales. Esto se debe a la naturaleza subyacente de la estructura del modelo y las formas altamente complejas en las que pueden fallar. Al carecer de un mecanismo para evaluar estos sistemas no deterministas de una manera determinista y auditable, las organizaciones dentro del gobierno no pudieron evaluar la llamada “calidad” de los modelos de IA en comparación con un punto de referencia. Esto generó el temor de que pudieran fallar, funcionar mal o ser pirateados por un adversario en el momento en que más se necesitan, por ejemplo, en combate, en vuelo o durante un procedimiento médico complejo. ‘
Consejo Asesor
Un mes antes de la ronda de inversión, la compañía creó una Junta Asesora de Seguridad Nacional que incluía a Tony DeMartino, ex asistente del secretario de Defensa Jim Mattis, y ahora socio fundador de la firma de asesoría estratégica con sede en Washington. Asesores Palas; la exsubsecretaria principal adjunta de Defensa para Inteligencia (bajo el presidente Trump) Kari Bingen; el exdirector adjunto adjunto de Innovación Digital de la CIA, Sean Roche, un antiguo especialista en inteligencia cibernética en esa organización; y Michael Molino, exvicepresidente ejecutivo de desarrollo corporativo de ASRC Federal, que brinda capacidades de migración técnica, de investigación y de asesoramiento en una variedad de servicios federales críticos.
Según el comunicado:
VESPR proporciona capacidades avanzadas de prueba de IA con un flujo de trabajo optimizado para garantizar que cada algoritmo de aprendizaje automático puesto en producción se haya verificado como seguro. VESPR brinda seguridad y garantía incomparables a una variedad de sistemas de IA, desde visión por computadora hasta procesamiento de lenguaje natural. El proceso VESPR garantiza pruebas, evaluación, verificación y validación (TEVV) a lo largo del ciclo de vida de aprendizaje automático seguro (SMLC), desde la fase de investigación y desarrollo hasta la implementación del modelo. El resultado final son sistemas de IA que brindan monitoreo e informes precisos y completos sobre las capacidades, vulnerabilidades y rendimiento del modelo.
Un video promocional de VESPR se puede ver a continuación:
Actualizado a las 11:07 AM EST para reflejar que Michael Molino ya no trabaja en ASRC Federal, una errata en el artículo original.