Un grupo de expertos en inteligencia artificial (IA) de varias instituciones ha superado un «importante obstáculo de larga data para aumentar las capacidades de la IA». El equipo miró hacia el cerebro humano, que es el caso de muchos desarrollos de IA. Específicamente, el equipo se centró en el mecanismo de memoria del cerebro humano conocido como «repetición».
Gido van de Ven es el primer autor e investigador postdoctoral. A él se unieron el investigador principal Andreas Tolias en Baylor, así como Hava Siegelmann en UMass Amherst.
La investigación fue publicada en Comunicaciones de la naturaleza.
El nuevo método
Según los investigadores, han ideado un nuevo método que protege de manera eficiente las redes neuronales profundas del «olvido catastrófico». Cuando una red neuronal adquiere un nuevo aprendizaje, puede olvidar lo que aprendió previamente.
Este obstáculo es lo que impide que se produzcan muchos avances de la IA.
“Una solución sería almacenar ejemplos encontrados anteriormente y revisarlos cuando aprenda algo nuevo. Aunque tal ‘repetición’ o ‘ensayo’ resuelve el olvido catastrófico, el reentrenamiento constante en todas las tareas previamente aprendidas es altamente ineficiente y la cantidad de datos que tendrían que almacenarse se vuelve inmanejable rápidamente”, escribieron los investigadores.
El cerebro humano
Los investigadores se inspiraron en el cerebro humano, ya que es capaz de acumular información sin olvidar, lo que no es el caso de las redes neuronales de IA. El desarrollo actual se basó en trabajos previos realizados por los investigadores, incluidos los hallazgos sobre un mecanismo en el cerebro que se cree que es responsable de evitar que se olviden los recuerdos. Este mecanismo es la repetición de patrones de actividad neural.
Según Siegelmann, el mayor avance proviene de «reconocer que la reproducción en el cerebro no almacena datos», sino que «el cerebro generó representaciones de recuerdos en un nivel alto y más abstracto sin necesidad de generar recuerdos detallados».
Siegelmann tomó esta información y se unió a sus colegas para desarrollar una repetición similar a un cerebro con inteligencia artificial, donde no había datos almacenados. Como es el caso del cerebro humano, la red artificial toma lo que ha visto antes para generar representaciones de alto nivel.
El método fue altamente eficiente, con solo unas pocas representaciones generadas repetidas, lo que resultó en que se recordaran recuerdos más antiguos mientras se aprendían nuevos. La repetición generativa es efectiva para prevenir el olvido catastrófico, y uno de los principales beneficios es que permite que el sistema generalice de una situación a otra.
Según van de Ven, “si nuestra red con reproducción generativa primero aprende a separar a los gatos de los perros, y luego a separar a los osos de los zorros, también distinguirá a los gatos de los zorros sin haber sido entrenado específicamente para hacerlo. Y, en particular, cuanto más aprende el sistema, mejor se vuelve para aprender nuevas tareas”.
“Proponemos una nueva variante de reproducción inspirada en el cerebro en la que se reproducen representaciones internas u ocultas generadas por las propias conexiones de retroalimentación moduladas por el contexto de la red”, escribe el equipo. “Nuestro método logró un rendimiento de vanguardia al desafiar los puntos de referencia de aprendizaje continuo sin almacenar datos, y proporciona un modelo novedoso para la reproducción abstracta en el cerebro”.
“Nuestro método hace varias predicciones interesantes sobre la forma en que la reproducción podría contribuir a la consolidación de la memoria en el brian”, continúa Van de Ven. “Ya estamos realizando un experimento para probar algunas de estas predicciones”.