Los investigadores de IA de institutos como el Imperial College London, la Universidad de Cambridge y Google DeepMind buscan inspiración en los animales para mejorar el rendimiento de los sistemas de aprendizaje por refuerzo. en un porro artículo publicado en CellPress Reviewstitulado «Inteligencia artificial y el sentido común de los animales», los investigadores argumentan que la cognición animal proporciona puntos de referencia y métodos de evaluación útiles para los agentes de aprendizaje de refuerzo y también puede informar la ingeniería de tareas y entornos.
Los investigadores e ingenieros de IA han buscado inspiración durante mucho tiempo en las redes neuronales biológicas al diseñar algoritmos, utilizando principios de la ciencia del comportamiento y la neurociencia para informar la estructura de los algoritmos. Sin embargo, la mayoría de las pistas que los investigadores de IA toman de los campos de la neurociencia/ciencia del comportamiento se basan en humanos, con la cognición de niños pequeños y bebés como punto focal. Los investigadores de IA aún tienen que inspirarse mucho en los modelos animales, pero la cognición animal es un recurso sin explotar que tiene el potencial de conducir a avances importantes en el espacio del aprendizaje por refuerzo.
Los sistemas de aprendizaje por refuerzo profundo se entrenan a través de un proceso de prueba y error, reforzado con recompensas cada vez que un agente de aprendizaje por refuerzo se acerca a completar un objetivo deseado. Esto es muy similar a enseñarle a un animal a realizar una tarea deseada utilizando la comida como recompensa. Los biólogos y especialistas en cognición animal han llevado a cabo muchos experimentos evaluar las capacidades cognitivas de una variedad de animales diferentes, incluidos perros, osos, ardillas, cerdos, cuervos, delfines, gatos, ratones, elefantes y pulpos. Muchos animales exhiben demostraciones impresionantes de inteligencia, y algunos animales como elefantes y delfines puede incluso tener una teoría de la mente.
Mirar el cuerpo de investigación realizado sobre la cognición animal podría inspirar a los investigadores de IA a considerar los problemas desde diferentes ángulos. A medida que el aprendizaje por refuerzo profundo se ha vuelto más poderoso y sofisticado, los investigadores de IA que se especializan en el campo están buscando nuevas formas de probar las capacidades cognitivas de los agentes de aprendizaje por refuerzo. En el trabajo de investigación, el equipo de investigación hace referencia a los tipos de experimentos realizados con primates y aves, mencionando que tienen como objetivo diseñar sistemas capaces de realizar tipos de tareas similares, dando a una IA un tipo de “sentido común”. Según los autores del artículo, «abogan por un enfoque en el que los agentes de RL, quizás con arquitecturas aún sin desarrollar, adquieren lo que se necesita a través de una interacción extendida con entornos virtuales ricos».
Según lo informado por VentureBeat, los investigadores de IA argumentan que el sentido común no es un rasgo exclusivo de los humanos y que depende de la comprensión de las propiedades básicas del mundo físico, como la forma en que un objeto ocupa un punto y un espacio, qué restricciones existen en ese objeto. movimientos y una apreciación de la causa y el efecto. Los animales muestran estos rasgos en estudios de laboratorio. Por ejemplo, los cuervos entienden que los objetos son cosas permanentes, ya que pueden recuperar semillas incluso cuando la semilla está oculta para ellos, cubierta por otro objeto.
Para dotar a un sistema de aprendizaje por refuerzo de estas propiedades, los investigadores argumentan que necesitarán crear tareas que, junto con la arquitectura adecuada, creen agentes capaces de transferir los principios aprendidos a otras tareas. Los investigadores argumentan que el entrenamiento para un modelo de este tipo debería incluir técnicas que requieran que un agente adquiera comprensión de un concepto después de haber estado expuesto a solo unos pocos ejemplos, llamado entrenamiento de pocas tomas. Esto contrasta con los cientos o miles de pruebas tradicionales que normalmente se incluyen en el entrenamiento de prueba y error de un agente de RL.
El equipo de investigación continúa explicando que, si bien algunos agentes de RL modernos pueden aprender a resolver múltiples tareas, algunas de las cuales requieren la transferencia básica de principios aprendidos, no está claro que los agentes de RL puedan aprender un concepto tan abstracto como el «sentido común». . Si hubiera un agente potencialmente capaz de aprender tal concepto, necesitarían pruebas capaces de determinar si un agente RL entendió el concepto de contenedor.
DeepMind, en particular, se complace en participar en formas nuevas y diferentes de desarrollar y probar agentes de aprendizaje por refuerzo. Recientemente, en la conferencia HAI de Stanford que tuvo lugar a principios de octubre, el jefe de investigación en neurociencia de DeepMind, Matthew Botvinick, instó a los investigadores e ingenieros de aprendizaje automático a colaborar más en otros campos de la ciencia. Botvinick destacó la importancia del trabajo interdisciplinario con psicólogos y neurociencias para el campo de la IA en una charla llamada “Triangulación de la inteligencia: fusión de la neurociencia, la psicología y la IA”.