Degradando la ‘Verdad’ obsoleta con el aprendizaje automático

A veces la verdad tiene fecha de caducidad. Cuando un reclamo de tiempo limitado (como ‘las máscaras son obligatorias en el transporte público’) surge en las clasificaciones de los motores de búsqueda, su aparente solución ‘autorizada’ puede quedarse más tiempo que su bienvenida incluso por muchos años, superando contenido posterior y más preciso sobre el mismo tema.

Este es un subproducto de la determinación de los algoritmos de los motores de búsqueda para identificar y promover soluciones definitivas ‘a largo plazo’, y de su propensión a priorizar el contenido bien vinculado que mantiene el tráfico a lo largo del tiempo, y de una actitud cada vez más circunspecta hacia el contenido más nuevo en La era emergente de las noticias falsas.

Alternativamente, devaluar contenido web valioso simplemente porque la marca de tiempo asociada con él ha pasado una ‘ventana de validez’ arbitraria corre el riesgo de que una generación de contenido realmente útil sea degradada automáticamente a favor de material posterior que puede ser de un estándar inferior.

Hacia la corrección de este síndrome, un nuevo papel de investigadores en Italia, Bélgica y Dinamarca ha utilizado una variedad de técnicas de aprendizaje automático para desarrollar una metodología para la clasificación de evidencia consciente del tiempo.

Más allá de las respuestas obsoletas

El artículo está escrito por investigadores de la Comisión Europea en el Centro Común de Investigación (JRC) en Ispra, la Katholieke Universiteit en Lovaina y la Universidad de Copenhague.

El trabajo considera cuatro métodos de clasificación temporal aplicados sobre tres metodologías de verificación de hechos, cada una con un enfoque diferente para la clasificación de evidencia, y ofrece una metodología novedosa para la clasificación que utiliza marcas de tiempo de evidencia como un “estándar de oro”. El estudio muestra que la clasificación de evidencia consciente del tiempo mejora la perspicacia de los resultados y también mejora la autoridad y las predicciones de veracidad de hechos y afirmaciones sensibles al tiempo.

La investigación se ofrece como un posible complemento de sistemas posteriores o existentes, y está diseñada para ayudar en la investigación y como un posible factor adicional para su inclusión en el desarrollo de algoritmos de motores de búsqueda nuevos y evolucionados.

El trabajo modela la dinámica temporal de la evidencia para la verificación de hechos basada en el contenido y supera los enfoques de “similitud semántica” adoptados por los algoritmos típicos de clasificación de los motores de búsqueda. El modelo entrenado por los investigadores utiliza una función optimizada de aprendizaje para clasificar que se puede superponer fácilmente en una arquitectura de verificación de datos existente. Los investigadores sostienen que el sistema es una contribución novedosa a la verificación de hechos automatizada.

Modificación de múltiples arquitecturas de verificación de datos

Los investigadores impusieron su factorización con limitaciones de tiempo en tres arquitecturas de verificación de hechos existentes. El primero de ellos es el modelo Bidireccional Long Short Term Memory (BiLSTM) propuesto en el Conjunto de datos MultiFC lanzado en 2019.

El segundo es una modificación del primero, con una red neuronal recurrente (RNN) unidireccional que reemplaza el componente LSTM.

El tercer modelo que usaron los investigadores es un Transformador DistilBERT de la biblioteca Hugging Faces, una versión destilada de Google BERT modelo de PNL.

En las tres arquitecturas, los investigadores aplicaron una pérdida de ListMLE, de la investigación dirigida por Microsoft, que ha contribuido constantemente a la investigación novedosa de verificación de hechos durante las últimas dos décadas.

Los dos modelos principales de verificación de hechos a los que el equipo de investigación ha agregado un componente temporal como filtro para la autoridad y los valores de clasificación posteriores.  Fuente: https://arxiv.org/pdf/2009.06402.pdf

Los dos modelos principales de verificación de hechos a los que el equipo de investigación ha agregado un componente temporal como filtro para la autoridad y los valores de clasificación posteriores. Fuente: https://arxiv.org/pdf/2009.06402.pdf

Los valores de marca de tiempo se extrajeron de los metadatos de entrenamiento y se incluyeron como factores de clasificación en cada modelo.

Pruebas

La evaluación experimental del sistema involucró el uso del conjunto de datos MultiFC, ya que actualmente es el único conjunto de datos de código abierto de gran volumen disponible para este interés de investigación en particular. MultiFC contiene 34.924 afirmaciones del mundo real obtenidas de 26 dominios de verificación de hechos diferentes, incluidos Snopes y el Washington Post.

La predicción de la veracidad de cada afirmación se complementa con diez fragmentos de evidencia proporcionados por la API de búsqueda de Google y las predicciones obtenidas a través de una confluencia de elementos, incluidos el orador, las etiquetas y las categorías.

Muy a menudo, la marca de tiempo relevante no es necesariamente la que está contenida en los metadatos; un artículo puede hacer referencia a hechos de épocas anteriores, y en este caso los sistemas de los investigadores tenían que cuidarse de extraer y convertir esos datos directamente del texto. Sin este proceso, una ‘repetición’ de noticias obsoletas tenderá a darles un nuevo brillo, particularmente en el caso de sitios de alta autoridad, propagando los datos obsoletos.

Las fechas se extrajeron con una rutina de Python, y se probó la consistencia del formato de las fechas oficiales de los metadatos (ya que, por ejemplo, el formato del sello de fecha de EE. UU. y el Reino Unido es diferente). Cuando se verificó manualmente, no se encontraron errores en los metadatos de la marca de tiempo.

Resultados

En comparación con una verificación manual de los resultados automatizados, los investigadores encontraron que la clasificación de evidencia consciente del tiempo mejoró notablemente en los supuestos de relevancia que se basaron en la similitud semántica pura o clasificaciones de SERP. También aseguran que su método mejora las predicciones de veracidad para afirmaciones sensibles al tiempo (es decir, circunstancias en las que la situación de una noticia puede estar cambiando rápidamente y en las que es esencial que se priorice la información actualizada sin simplemente forzar la priorización de la más reciente). resultados sobre un tema).

Los investigadores señalan que este enfoque será de gran valor para mejorar los modelos de clasificación para temas volátiles como la política y el entretenimiento, donde la información cambia rápidamente y los desarrollos de alto rango requieren un marco para la degradación automática de los primeros lugares en la clasificación que pueden tener. alcanzado en el lanzamiento.

Deja un comentario