Cada vez se presta más atención en los últimos años a lo que los académicos e investigadores denominan la crisis de replicación/reproducibilidad. Muchos estudios simplemente no logran dar los mismos resultados significativos cuando se intenta replicar el estudio y, como resultado, a la comunidad científica le preocupa que los hallazgos a menudo se enfaticen demasiado. El problema afecta a campos tan diversos como la psicología y la inteligencia artificial. Cuando se trata del campo de la IA, se publican muchos artículos no revisados por pares que presentan resultados impresionantes que otros investigadores no pueden reproducir. Para abordar el problema y reducir la cantidad de estudios no reproducibles, los investigadores diseñaron un modelo de IA que tiene como objetivo determinar qué artículos se pueden replicar.
Según informa Fortuneun nuevo papel publicado por un equipo de investigadores de la Kellog School of Management y el Instituto de Sistemas Complejos de la Universidad Northwestern presenta un modelo de aprendizaje profundo que puede determinar qué estudios tienen probabilidades de ser reproducibles y cuáles no. Si el sistema de IA puede discriminar de forma fiable entre estudios reproducibles y no reproduciblespodría ayudar a universidades, institutos de investigación, empresas y otras entidades a filtrar miles de trabajos de investigación para determinar qué trabajos tienen más probabilidades de ser útiles y fiables.
Los sistemas de IA desarrollados por el equipo de Northwestern no utilizan el tipo de evidencia empírica/estadística que los investigadores suelen utilizar para determinar la validez de los estudios. El modelo en realidad emplea técnicas de procesamiento de lenguaje natural para tratar de cuantificar la confiabilidad de un documento. El sistema extrae patrones en el lenguaje utilizado por los autores de un artículo, encontrando que algunos patrones de palabras indican mayor confiabilidad que otros.
El equipo de investigación se basó en investigaciones psicológicas tan antiguas como la década de 1960, que encontraron que las personas a menudo comunican el nivel de confianza que tienen en sus ideas a través de las palabras que usan. Con esta idea, los investigadores pensaron que los autores de los artículos podrían, sin saberlo, indicar su confianza en los hallazgos de su investigación al escribir sus artículos. Los investigadores realizaron dos rondas de capacitación, utilizando diferentes conjuntos de datos. Inicialmente, el modelo se entrenó en aproximadamente dos millones de resúmenes de artículos científicos, mientras que la segunda vez el modelo se entrenó en artículos completos para tomar de un proyecto destinado a determinar qué artículos de psicología se pueden reproducir: el Proyecto de Reproducibilidad: Psicología.
Después de las pruebas, los investigadores implementaron el modelo en una colección de cientos de otros artículos, tomados de varios campos como la psicología y la economía. Los investigadores descubrieron que su modelo proporcionaba una predicción más fiable con respecto a la reproducibilidad de un artículo que las técnicas estadísticas que se utilizan normalmente para determinar si los resultados de un artículo se pueden replicar o no.
El investigador y profesor de la Escuela de Administración de Kellog, Brian Uzzi, explicó a Fortune que, si bien tiene la esperanza de que el modelo de IA pueda usarse algún día para ayudar a los investigadores a determinar la probabilidad de que se reproduzcan los resultados, el equipo de investigación no está seguro de los patrones y detalles de su modelo. aprendió. El hecho de que los modelos de aprendizaje automático a menudo sean cajas negras es un problema común dentro de la investigación de IA, pero este hecho podría hacer que otros científicos duden en utilizar el modelo.
Uzzi explicó que el equipo de investigación espera que el modelo pueda usarse potencialmente para abordar la crisis del coronavirus, ayudando a los científicos más entender rápidamente el virus y determinar qué resultados del estudio son prometedores. Como dijo Uzzi a Fortune:
“Queremos comenzar a aplicar esto al problema de COVID, un problema en este momento en el que muchas cosas se están relajando y necesitamos construir sobre una base muy sólida de trabajo anterior. No está claro qué trabajo previo se va a replicar o no y no tenemos tiempo para replicaciones”.
Uzzi y los otros investigadores esperan mejorar el modelo haciendo uso de más técnicas de procesamiento de lenguaje natural, incluidas las técnicas que el equipo creó para analizar las transcripciones de llamadas relacionadas con las ganancias corporativas. El equipo de investigación ya ha creado una base de datos de aproximadamente 30.000 transcripciones de llamadas que analizarán en busca de pistas. Si el equipo puede construir un modelo exitoso, podría convencer a los analistas e inversores para que usen la herramienta, lo que podría allanar el camino para otros usos innovadores para el modelo y sus técnicas.