Según lo informado por Naturaleza, pronto se realizará una nueva competencia de IA, la competencia MineRL, que alentará a los ingenieros y codificadores de IA a crear programas capaces de aprender a través de la observación y el ejemplo. El caso de prueba para estos sistemas de IA será el muy popular videojuego de creación y supervivencia Minecraft.
Los sistemas de inteligencia artificial han visto algunos logros recientes impresionantes en lo que respecta a los videojuegos. Recientemente, una IA venció a los mejores jugadores humanos del mundo en el juego de estrategia StarCraft II. Sin embargo, StarCraft II tiene objetivos definibles que son más fáciles de desglosar en pasos coherentes que una IA puede usar para entrenar. Una tarea mucho más difícil para una IA es aprender a navegar en un gran juego de sandbox de mundo abierto como Minecraft. Los investigadores tienen como objetivo ayudar a los programas de IA a aprender a través de la observación y el ejemplo, y si tienen éxito, podrían reducir sustancialmente la cantidad de potencia de procesamiento necesaria para entrenar un programa de inteligencia artificial.
Los participantes en la competencia tendrán cuatro días para crear una IA que se probará con Minecraft, tomando hasta ocho millones de pasos para entrenar su IA. El objetivo de la IA es encontrar un diamante dentro del juego excavando. Ocho millones de pasos de entrenamiento es un lapso de tiempo mucho más corto que la cantidad de tiempo que se necesita para entrenar poderosos modelos de IA en estos días, por lo que los participantes en la competencia deben diseñar métodos que mejoren drásticamente los métodos de entrenamiento actuales.
Los enfoques que utilizan los participantes se basan en un tipo de aprendizaje denominado aprendizaje por imitación. El aprendizaje por imitación contrasta con el aprendizaje por refuerzo, que es un método popular para entrenar sistemas sofisticados como los brazos robóticos en las fábricas o las IA capaces de vencer a los jugadores humanos en StarCraft II. El principal inconveniente de los algoritmos de aprendizaje por refuerzo es el hecho de que requieren una inmensa potencia de procesamiento informático para entrenarse, y dependen de cientos o incluso miles de ordenadores conectados entre sí para aprender. Por el contrario, el aprendizaje por imitación es un método de entrenamiento mucho más eficiente y menos costoso desde el punto de vista computacional. Los algoritmos de aprendizaje por imitación se esfuerzan por imitar cómo los humanos aprenden por observación.
William Guss, candidato a doctorado en teoría del aprendizaje profundo en la Universidad Carnegie Mellon, explicó a Nature que hacer que una IA explore y aprenda patrones en un entorno es una tarea tremendamente difícil, pero el aprendizaje por imitación proporciona a la IA una base de conocimiento, o buena. supuestos previos, sobre el medio ambiente. Esto puede hacer que entrenar una IA sea mucho más rápido en comparación con el aprendizaje por refuerzo.
Minecraft sirve como un entorno de entrenamiento particularmente útil por múltiples razones. Una razón es que Minecraft permite a los jugadores usar bloques de construcción simples para crear estructuras y elementos complejos, y los muchos pasos necesarios para crear estas estructuras sirven como marcadores tangibles de progreso que los investigadores pueden usar como métricas. Minecraft también es extremadamente popular y, debido a esto, es relativamente fácil recopilar datos de entrenamiento. Los organizadores de la competencia MineRL reclutaron a muchos jugadores de Minecraft para demostrar una variedad de tareas como crear herramientas y romper bloques. Mediante el crowdsourcing de la generación de datos, los investigadores pudieron capturar 60 millones de ejemplos de acciones que podrían tomarse en el juego. Los investigadores dieron aproximadamente 1000 horas de video a los equipos de competencia.
Utilice el conocimiento que los humanos han acumulado, dice Rohin Shah, Ph.D. candidato en ciencias de la computación en la Universidad de California, Berkeley, explicó a Nature que esta competencia es probablemente la primera en enfocarse en usar el conocimiento que los humanos ya han generado para acelerar el entrenamiento de la IA.
Guss y los otros investigadores tienen la esperanza de que el concurso pueda tener resultados con implicaciones más allá de Minecraft, dando lugar a mejores algoritmos de aprendizaje por imitación e inspirando a más personas a considerar el aprendizaje por imitación como una forma viable de entrenar una IA. La investigación podría potencialmente ayudar a crear IA que sean más capaces de interactuar con personas en entornos complejos y cambiantes.