Investigadores de la Universidad de Cornell utilizaron recientemente sistemas de aprendizaje automático para investigar cómo los reflejos de las imágenes son diferentes de las imágenes originales. Según lo informado por ScienceDailylos algoritmos creados por el equipo de investigadores encontraron que había signos reveladores, diferencias con la imagen original, que una imagen había sido volteada o reflejada.
El profesor asociado de informática en Cornell Tech, Noah Snavely, fue el autor principal del estudio. Según Snavely, el proyecto de investigación comenzó cuando los investigadores se sintieron intrigados por cómo las imágenes eran diferentes de manera obvia y sutil cuando se reflejaban. Snavely explicó que incluso las cosas que parecen muy simétricas a primera vista generalmente se pueden distinguir como un reflejo cuando se estudian. Estoy intrigado por los descubrimientos que puedes hacer con nuevas formas de obtener información”, dijo Snavely, según ScienceDaily.
Los investigadores se centraron en imágenes de personas, usándolas para entrenar sus algoritmos. Esto se hizo porque las caras no parecen obviamente asimétricas. Cuando se entrenó con datos que distinguían las imágenes invertidas de las imágenes originales, la IA supuestamente logró una precisión de entre el 60 % y el 90 % en varios tipos de imágenes.
Muchas de las características visuales de una imagen invertida que aprendió la IA son bastante sutiles y difíciles de discernir para los humanos cuando miran las imágenes invertidas. Para interpretar mejor las características que la IA estaba usando para distinguir entre imágenes invertidas y originales, los investigadores crearon un mapa de calor. El mapa de calor mostraba regiones de la imagen en las que la IA tendía a enfocarse. Según los investigadores, una de las pistas más comunes que utilizó la IA para distinguir las imágenes invertidas fue el texto. Esto no fue sorprendente, y los investigadores eliminaron las imágenes que contenían texto de sus datos de entrenamiento para tener una mejor idea de las diferencias más sutiles entre las imágenes invertidas y las originales.
Después de eliminar las imágenes que contenían texto del conjunto de entrenamiento, los investigadores descubrieron que el clasificador de IA se centró en las características de las imágenes, como las personas que llaman en camisa, los teléfonos celulares, los relojes de pulsera y las caras. Algunas de estas características tienen patrones obvios y confiables que la IA puede perfeccionar, como el hecho de que las personas a menudo llevan teléfonos celulares en la mano derecha y que los botones en el cuello de la camisa a menudo están en la izquierda. Sin embargo, los rasgos faciales suelen ser muy simétricos, con diferencias pequeñas y muy difíciles de detectar para un observador humano.
Los investigadores crearon otro mapa de calor que resaltaba las áreas de los rostros en las que la IA tendía a enfocarse. La IA a menudo usaba los ojos, el cabello y la barba de las personas para detectar imágenes invertidas. Por razones que no están claras, las personas a menudo miran ligeramente hacia la izquierda cuando les toman fotos. En cuanto a por qué el cabello y la barba son indicadores de imágenes invertidas, los investigadores no están seguros, pero teorizan que la forma en que una persona se afeita o se peina podría revelarse. Si bien estos indicadores pueden no ser confiables, al combinar varios indicadores, los investigadores pueden lograr una mayor confianza y precisión.
Será necesario realizar más investigaciones en este sentido, pero si los hallazgos son consistentes y confiables, entonces podría ayudar a los investigadores a encontrar formas más eficientes de entrenar algoritmos de aprendizaje automático. La IA de visión por computadora a menudo se entrena utilizando reflejos de imágenes, ya que es una forma efectiva y rápida de aumentar la cantidad de datos de entrenamiento disponibles. Es posible que analizar cómo las imágenes reflejadas son diferentes podría ayudar a los investigadores de aprendizaje automático a obtener una mejor comprensión de los sesgos presentes en los modelos de aprendizaje automático que podrían causar que clasifiquen imágenes de manera incorrecta.
como era snavely citado por ScienceDaily:
“Esto lleva a una pregunta abierta para la comunidad de visión por computadora, que es, ¿cuándo está bien hacer este cambio para aumentar su conjunto de datos y cuándo no? Espero que esto haga que las personas piensen más sobre estas preguntas y comiencen a desarrollar herramientas para comprender cómo sesga el algoritmo”.