Inspirado por las recientes revelaciones de que las imágenes médicas de IA puede revelar razaun consorcio de investigación en los EE. UU. y el Reino Unido ha llevado a cabo un estudio sobre si los patrones de las venas de la retina son indicativos de la raza, y ha llegado a la conclusión de que este es realmente el caso, ya que la IA es capaz de predecir la raza informada por los padres en los bebés a partir de imágenes de la retina, imágenes que no revelarían la identidad racial a un médico humano que los estudie, y que anteriormente se pensaba que no contenían potencial para la divulgación racial.
El grupo ha expresado su preocupación de que este vector adicional de estratificación racial en imágenes médicas abra la posibilidad de un mayor sesgo en el uso de sistemas de inteligencia artificial en el cuidado de la salud.
Imágenes retinales de un sujeto en blanco y negro. Arriba, una imagen de fondo de retina a todo color de cada raza ya tiene características distintivas de la raza relacionadas con la disposición del color. A continuación, los mapas de vasos retinales derivados de estas imágenes, que se supone que ‘nivelan’ estas marcas de anclaje raciales, en realidad contienen características que identifican la raza, según el nuevo informe. Fuente: https://arxiv.org/ftp/arxiv/papers/2109/2109.13845.pdf
Los autores señalan además la posibilidad de que Red en Uel marco de aprendizaje automático que ha llegado a definir este sector de la atención médica basada en IA, y que fue entrenado en sujetos predominantemente blancos*, puede tener una influencia en este fenómeno observado. Sin embargo, los autores afirman que «todavía no pueden explicar completamente estos hallazgos basándose únicamente en la hipótesis de U-Net».
Comentar los hallazgos en las reuniones asociadas del proyecto. repositorio GitHublos autores afirman:
‘La IA puede detectar razas a partir de RVM en escala de grises [Retinal Vessel Maps] que no se pensaba que contenían información racial. Dos posibles explicaciones para estos hallazgos son que: los vasos retinianos difieren fisiológicamente entre los bebés blancos y negros o la red U segmenta la vasculatura retiniana de manera diferente para varias pigmentaciones del fondo de ojo.
«… De cualquier manera, las implicaciones siguen siendo las mismas: los algoritmos de IA tienen el potencial de demostrar prejuicios raciales en la práctica, incluso cuando los intentos preliminares de eliminar dicha información de las imágenes subyacentes parecen tener éxito».
Él papel se titula Not Color Blind: AI Predicts Racial Identity from Black and White Retinal Vessel Segmentations, y es una colaboración equitativa entre médicos e investigadores de cinco instituciones y departamentos de investigación en los EE. UU. y uno en el Reino Unido.
Los médicos que participan en el consorcio de investigación incluyen RV Pablo ChanMD, MSc, FACS, certificado por la junta en oftalmología y miembro del Colegio Americano de Cirujanos; Michael F. Chiang, MD, Director del Instituto Nacional del Ojo en los Institutos Nacionales de Salud en Bethesda, Maryland; y Dr. J. Peter CampbellMPH, Profesor Asociado de Oftalmología en la Facultad de Medicina de la Universidad de Ciencias y Salud de Oregón en Portland.
Los ojos lo tienen
El documento señala el potencial previamente probado de que el sesgo de origen humano se propague en los sistemas médicos de IA, sobre todo en el estudio de los ojos*. Las imágenes de fondo de retina (RFI, consulte la comparación de imágenes anterior), utilizadas para evaluar enfermedades oculares, son imágenes a todo color que contienen suficiente información de pigmentación para identificar la raza.
Los mapas de vasos de la retina en escala de grises (RVM) descartan la mayor parte de esta información para extraer el patrón subyacente de los capilares que probablemente definan muchas enfermedades. Siempre se ha asumido, en este nivel de destilación, que no quedan características raciales en imágenes médicas tan reduccionistas.
Los autores han probado esta suposición con el uso de un conjunto de datos de RFI (imágenes retinales a todo color) obtenidas de bebés examinados para detectar una enfermedad potencialmente cegadora. La detección de tales imágenes, señalan los autores, se presenta cada vez más fuera de las consultas personales, en la telemedicina y otros contextos de diagnóstico remoto, y se está convirtiendo cada vez más en el tema del análisis de aprendizaje automático.
El nuevo estudio examina si varios tipos de versiones reduccionistas de las imágenes a todo color que identifican la raza retienen la información racial, según lo informado por los padres de los bebés, y ha encontrado que incluso las destilaciones de RFI más destructoras de información (umbralizadas, esqueletizadas y binarizados) permiten cierto nivel de identificación racial.
información y metodología
Los datos de 245 bebés, recopilados entre enero de 2012 y julio de 2020 como parte de un estudio de cohorte i-ROP multicéntrico, se dividieron en conjuntos de datos de entrenamiento, validación y prueba en una base 50/20/30, respectivamente, con una distribución natural de razas conservada lo mejor que permitan los datos de origen.
Los RFI en color se redujeron a los tres estilos reductivos de imágenes antes mencionados, por lo que los marcadores raciales «obvios» técnicamente deberían haberse eliminado de los datos.
Se entrenaron múltiples redes neuronales convolucionales (CNN) para lograr una clasificación binaria (‘negro’/’blanco’, según la raza informada por los padres) utilizando PyTorch. Las CNN ejecutaron los datos en todas las versiones de las imágenes, desde RFI hasta versiones esqueletizadas, aplicando los giros y rotaciones aleatorios habituales, con imágenes derivadas con una resolución de 224 × 244 píxeles.
Los modelos se entrenaron con descenso de gradiente estocástico durante hasta diez épocas con una tasa de aprendizaje constante de 0,001, y se implementó la detención temprana y el entrenamiento cesó cuando se identificó la convergencia percibida después de cinco épocas (es decir, el modelo no iba a volverse más preciso con más capacitación).
Dado que había un desequilibrio demográfico natural entre sujetos blancos y negros, se aplicó una compensación para garantizar que las fuentes minoritarias no se descartaran sistemáticamente como valores atípicos, y los resultados se cotejaron para verificar que no se produjera ninguna fuga de datos en los experimentos.
Muestras de mapas retinianos del estudio en diferentes niveles de tolerancia umbral.
Resultados
Según los autores, las RVM, que extraen venas y capilares de las imágenes RFI a todo color, no deberían ser discernibles en teoría por una CNN. Sin embargo, los resultados han demostrado que U-Net segmenta una mayor cantidad de arterias principales para ojos blancos que para ojos negros.
En las observaciones finales, los investigadores observaron que «encontramos que la IA podía predecir fácilmente la carrera de los bebés a partir de las segmentaciones de los vasos retinianos que no contienen información visible sobre la pigmentación», y que «incluso las imágenes que parecían desprovistas de información a simple vista conservaban la capacidad predictiva». información de la raza del bebé original’. Los investigadores ofrecen además la posibilidad de que los vasos retinianos de los bebés blancos y negros difieran «de alguna manera que la IA puede apreciar, pero los humanos no».
¿Sesgo anterior?
Los autores también sugieren que la discriminación podría ser una función de los datos predominantemente blancos en los que se entrenó originalmente U-Net. Aunque describen esto como su ‘teoría principal’, también admiten que las capacidades de los sensores de captura pueden ser un factor en los fenómenos, si resulta que el sesgo descubierto es un corolario de los aspectos técnicos de las prácticas de imágenes de la retina, o de sesgo de datos en U-Net que se perpetúa a lo largo de los años. Al abordar estas posibilidades, el documento concede:
“Sin embargo, U-Net se entrenó en RFI que primero se convirtieron en imágenes en escala de grises y se sometieron a ajustes de contraste, específicamente, ecualización de histograma de contraste limitado (CLAHE), y por lo tanto nunca se entrenó en RFI en color. Por lo tanto, hasta el momento no podemos explicar completamente estos hallazgos basándonos únicamente en la hipótesis de U-Net”.
Sin embargo, los autores afirman que la causa es menos alarmante que el efecto, afirmando que la capacidad de los modelos de IA para discernir la raza conlleva un posible «riesgo de sesgo en los algoritmos médicos de IA que los utilizan como entrada».
Los autores señalan la naturaleza de alto contraste de las razas estudiadas y postulan que los grupos raciales «intermedios» pueden ser más difíciles de identificar por medios similares, y que este es un aspecto que pretenden estudiar en trabajos en curso y relacionados.
* Todos los enlaces de apoyo proporcionados por el periódico que se incluyen en este artículo se han convertido de enlaces de PaperPile de acceso limitado a versiones en línea disponibles públicamente, cuando fue posible.