La creciente sofisticación y accesibilidad de la inteligencia artificial (IA) ha generado preocupaciones de larga data sobre su impacto en la sociedad. La generación más reciente de chatbots solo ha exacerbado estas preocupaciones, con temores sobre la integridad del mercado laboral y la difusión de noticias falsas e información errónea. A la luz de estas preocupaciones, un equipo de investigadores de la Facultad de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania buscó capacitar a los usuarios de tecnología para mitigar estos riesgos.
Entrenándose para reconocer texto AI
Su artículo revisado por parespresentado en la reunión de febrero de 2023 de la Asociación para el Avance de la Inteligencia Artificial, proporciona evidencia de que las personas pueden aprender a detectar la diferencia entre el texto generado por una máquina y el escrito por humanos.
El estudio, dirigido por Chris Callison-Burch, profesor asociado en el Departamento de Informática y Ciencias de la Información (CIS), junto con Ph.D. los estudiantes Liam Dugan y Daphne Ippolito, demuestra que el texto generado por IA es detectable.
“Hemos demostrado que las personas pueden entrenarse para reconocer textos generados por máquinas”, dice Callison-Burch. “La gente comienza con cierto conjunto de suposiciones sobre qué tipo de errores cometería una máquina, pero estas suposiciones no son necesariamente correctas. Con el tiempo, con suficientes ejemplos e instrucciones explícitas, podemos aprender a detectar los tipos de errores que las máquinas están cometiendo actualmente”.
El estudio utiliza datos recopilados mediante «¿Texto real o falso?», un juego de entrenamiento original basado en la web. Este juego de entrenamiento transforma el método experimental estándar para estudios de detección en una recreación más precisa de cómo las personas usan la IA para generar texto.
En los métodos estándar, se pide a los participantes que indiquen con un sí o un no si una máquina ha producido un texto determinado. El modelo de Penn refina el estudio de detección estándar en una tarea de entrenamiento eficaz al mostrar ejemplos que comienzan como escritos por humanos. Luego, cada ejemplo pasa al texto generado y pide a los participantes que marquen dónde creen que comienza esta transición. Los alumnos identifican y describen las características del texto que indican un error y reciben una puntuación.
Resultados del estudio
Los resultados del estudio muestran que los participantes obtuvieron puntajes significativamente mejores que el azar, lo que proporciona evidencia de que el texto creado por IA es, hasta cierto punto, detectable. El estudio no solo describe un futuro tranquilizador, incluso emocionante, para nuestra relación con la IA, sino que también proporciona evidencia de que las personas pueden entrenarse para detectar texto generado por máquinas.
“La gente está ansiosa por la IA por razones válidas”, dice Callison-Burch. “Nuestro estudio brinda puntos de evidencia para disipar estas ansiedades. Una vez que podamos aprovechar nuestro optimismo sobre los generadores de texto de IA, podremos prestar atención a la capacidad de estas herramientas para ayudarnos a escribir textos más imaginativos e interesantes”.
Dugan agrega: «Hay emocionantes direcciones positivas en las que puede impulsar esta tecnología. La gente está obsesionada con los ejemplos preocupantes, como el plagio y las noticias falsas, pero ahora sabemos que podemos entrenarnos para ser mejores lectores y escritores».
El estudio proporciona un primer paso crucial para mitigar los riesgos asociados con el texto generado por máquina. A medida que la IA continúa evolucionando, también debe hacerlo nuestra capacidad para detectar y navegar su impacto. Al entrenarnos para reconocer la diferencia entre el texto escrito por humanos y el generado por máquinas, podemos aprovechar el poder de la IA para respaldar nuestros procesos creativos y mitigar sus riesgos.