Una colaboración entre investigadores en China, Singapur y los EE. UU. ha producido un sistema resistente para ‘etiquetar’ fotos de rostros de manera tan sólida que los marcadores de identificación no se destruyen durante un proceso de capacitación de falsificación profunda, allanando el camino para reclamos de propiedad intelectual que podrían hacer mella en el capacidad de los sistemas de generación de imágenes sintéticas para ‘anonimizar’ los datos de origen extraídos ilegítimamente.
El sistema, titulado Etiquetador falsoutiliza un proceso de codificador/descodificador para incrustar información de identificación visualmente imperceptible en imágenes a un nivel lo suficientemente bajo como para que la información inyectada se interprete como datos esenciales de características faciales y, por lo tanto, se transmita abstracción los procesos intactos, de la misma manera, por ejemplo, como los datos de los ojos o la boca.
Una descripción general de la arquitectura FakeTagger. Los datos de origen se utilizan para generar una característica facial “redundante”, ignorando los elementos de fondo que se enmascararán a través de un flujo de trabajo típico de falsificación profunda. El mensaje es recuperable en el otro extremo del proceso e identificable a través de un algoritmo de reconocimiento apropiado. Fuente: http://xujuefei.com/felix_acmmm21_faketagger.pdf
La investigación proviene de la Escuela de Ciencias Cibernéticas e Ingeniería de Wuhan, el Laboratorio Clave de Seguridad de la Información Aeroespacial y Computación Confiable del Ministerio de Educación de China, el Grupo Alibaba en los EE. UU., la Universidad del Noreste de Boston y la Universidad Tecnológica de Nanyang en Singapur.
Los resultados experimentales con FakeTagger indican una tasa de reidentificación de hasta casi el 95% en cuatro tipos comunes de metodologías de falsificación profunda: intercambio de identidad (es decir, DeepFaceLab, Intercambio cara); recreación facial; edición de atributos; y síntesis total.
Deficiencias de la detección de Deepfake
Aunque los últimos tres años han traído una cosecha de nuevos enfoques para las metodologías de identificación de deepfake, todos estos enfoques son clave en las deficiencias remediables de los flujos de trabajo de deepfake, como brillo de ojos en modelos poco entrenados, y falta de parpadeo en deepfakes anteriores con conjuntos de caras inadecuadamente diversos. A medida que se identifican nuevas claves, los repositorios de software libre y de código abierto las han obviado, ya sea deliberadamente o como un subproducto de las mejoras en las técnicas de falsificación profunda.
El nuevo documento observa que el método de detección post-facto más efectivo producido a partir de la competencia de detección de falsificaciones profundas (DFDC) más reciente de Facebook está limitado a un 70% de precisión, en términos de detección de falsificaciones profundas en la naturaleza. Los investigadores atribuyen esta falla representativa a una mala generalización frente a los nuevos e innovadores sistemas GAN y codificadores/descodificadores deepfake, y a la calidad a menudo degradada de las sustituciones de deepfake.
En el último caso, esto puede deberse a un trabajo de baja calidad por parte de los deepfakers o a artefactos de compresión cuando los videos se cargan en plataformas compartidas que buscan limitar los costos de ancho de banda y recodificar videos a tasas de bits drásticamente más bajas que las enviadas. . Irónicamente, esta degradación de la imagen no solo no interfiere con la aparente autenticidad de un deepfake, sino que en realidad puede mejorar la ilusión, ya que el video deepfake se subsume en un lenguaje visual común de baja calidad que se percibe como auténtico.
Etiquetado de supervivencia como ayuda para la inversión del modelo
La identificación de datos de origen a partir de la salida del aprendizaje automático es un campo relativamente nuevo y en crecimiento, y que hace posible una nueva era de litigios basados en IP, ya que los gobiernos actuales permisivo Las regulaciones de raspado de pantalla (diseñadas para no sofocar la preeminencia de la investigación nacional frente a una ‘carrera armamentista’ global de IA) evolucionan hacia una legislación más estricta a medida que el sector se comercializa.
La inversión de modelos se ocupa del mapeo y la identificación de datos de origen a partir de la salida generada por los sistemas de síntesis en una serie de dominios, incluida la generación de lenguaje natural (NLG) y la síntesis de imágenes. La inversión del modelo es particularmente eficaz para volver a identificar rostros que estaban borrosos, pixelados o que se abrieron paso a través del proceso de abstracción de una red adversa generativa o un sistema de transformación de codificador/descodificador como DeepFaceLab.
Agregar etiquetas dirigidas a imágenes faciales nuevas o existentes es una posible nueva ayuda para modelar técnicas de inversión, con marca de agua un campo emergente.
Etiquetado a posteriori
FakeTagger está pensado como un enfoque de posprocesamiento. Por ejemplo, cuando un usuario sube una foto a una red social (que suele implicar algún tipo de proceso de optimización, y rara vez una transferencia directa y sin adulterar de la imagen original), el algoritmo procesaría la imagen para aplicar características supuestamente indelebles a la cara. .
Alternativamente, el algoritmo podría aplicarse a colecciones de imágenes históricas, como ha sucedido varias veces en los últimos veinte años, ya que los sitios de colección de imágenes comerciales y de fotos de archivo grandes han buscado métodos para identificar contenido que ha sido reutilizado sin permiso.
FakeTagger busca incorporar características de identificación recuperables de varios procesos de falsificación profunda.
Desarrollo y Pruebas
Los investigadores probaron FakeTagger contra una serie de aplicaciones de software deepfake en los cuatro enfoques antes mencionados, incluido el repositorio más utilizado, DeepFaceLab; Stanford cara2cara, que puede transferir expresiones faciales a través de imágenes e identidades; y STGANque puede editar atributos faciales.
La prueba se hizo con CelebA-HQun popular repositorio público extraído que contiene 30 000 imágenes de caras de celebridades en varias resoluciones de hasta 1024 x 1024 píxeles.
Como línea de base, los investigadores probaron inicialmente las técnicas convencionales de marca de agua de imágenes para ver si las etiquetas impuestas sobrevivirían a los procesos de entrenamiento de los flujos de trabajo falsos, pero los métodos fallaron en los cuatro enfoques.
Los datos incrustados de FakeTagger se inyectaron en la etapa del codificador en las imágenes del conjunto de rostros utilizando una arquitectura basada en el Red en U red convolucional para la segmentación de imágenes biomédicas, lanzada en 2015. Posteriormente, la sección del decodificador del marco se entrena para encontrar la información incrustada.
El proceso se probó en un simulador GAN que aprovechó las aplicaciones/algoritmos de FOSS antes mencionados, en una configuración de caja negra sin acceso discreto o especial a los flujos de trabajo de cada sistema. Se adjuntaron señales aleatorias a las imágenes de celebridades y se registraron como datos relacionados con cada imagen.
En una configuración de caja negra, FakeTagger pudo lograr una precisión superior al 88,95 % en los enfoques de las cuatro aplicaciones. En un escenario paralelo de caja blanca, la precisión aumentó a casi el 100 %. Sin embargo, dado que esto sugiere futuras iteraciones de software deepfake que incorporan FakeTagger directamente, es un escenario poco probable en el futuro cercano.
Contando el costo
Los investigadores señalan que el escenario más desafiante para FakeTagger es la síntesis completa de imágenes, como la generación abstracta basada en CLIP, ya que los datos de entrenamiento de entrada están sujetos a los niveles más profundos de abstracción en tal caso. Sin embargo, esto no se aplica a los flujos de trabajo de falsificación profunda que han dominado los titulares en los últimos años, ya que dependen de la reproducción fiel de las características faciales que definen la identificación.
El documento también señala que es posible que los atacantes adversarios intenten agregar perturbaciones, como ruido artificial y grano, para frustrar dicho sistema de etiquetado, aunque es probable que esto tenga un efecto perjudicial en la autenticidad de la salida deepfake.
Además, señalan que FakeTagger necesita agregar datos redundantes a las imágenes para garantizar la supervivencia de las etiquetas que incrusta, y que esto podría tener un costo computacional notable a escala.
Los autores concluyen señalando que FakeTagger puede tener potencial para el seguimiento de procedencia en otros dominios, como Ataques de lluvia adversarios y otros tipos de ataques basados en imágenes, como exposición contradictoria, bruma, difuminar, viñeteado y temblor de color.