Un equipo de investigadores en ciencias de la computación de Tsinghua y la Universidad de Beihand en China, IDC Herzilya en Israel y la Universidad de Harvard recientemente creó una herramienta que genera videos editados a partir de una descripción de texto y un repositorio de videoclips.
Camarógrafos profesionales, aficionados y personas normales graban cantidades masivas de secuencias de video todos los días. Sin embargo, editar este video para convertirlo en una presentación que tenga sentido sigue siendo una inversión de tiempo costosa, que a menudo requiere el uso de herramientas de edición complejas que pueden manipular imágenes en bruto. El equipo internacional de investigadores desarrolló recientemente una herramienta que toma descripciones de texto temáticas y genera videos basados en ellas. La herramienta es capaz de examinar clips de video en un repositorio y seleccionar los clips que corresponden con el texto de entrada que describe la historia. El objetivo es que la herramienta sea fácil de usar y lo suficientemente potente como para producir videos de calidad sin la necesidad de tener grandes habilidades de edición de videos o un costoso software de edición de videos.
Si bien las plataformas de edición de video actuales requieren el conocimiento de las técnicas de edición de video, la herramienta creada por los investigadores permite a los creadores de videos novatos crear composiciones que cuentan historias de una manera más natural e intuitiva. “Write-A-Video”, como lo llaman sus creadores, permite a los usuarios editar videos simplemente editando el texto que acompaña al video. Si un usuario elimina texto, agrega texto o mueve oraciones, estos cambios se reflejarán en el video. Las tomas correspondientes se cortarán o agregarán a medida que el usuario manipula el texto y el video resultante final se adaptará a la descripción del usuario.
Ariel Shamir, decano de la Escuela de Ciencias de la Computación Efi Arazi en IDC Herzliya, explicó que la herramienta Write-A-Video le permite al usuario interactuar con el video principalmente a través del texto, utilizando técnicas de procesamiento de lenguaje natural para hacer coincidir las tomas de video en función de la semántica proporcionada. sentido. Luego se usa un algoritmo de optimización para ensamblar el video cortando e intercambiando tomas. La herramienta también permite a los usuarios experimentar con diferentes estilos visuales, modificando la forma en que se presentan las escenas mediante el uso de expresiones cinematográficas específicas que acelerarán o ralentizarán la acción, o harán más/menos cortes.
El programa selecciona posibles planos en función de su atractivo estético. El programa considera cómo se enmarcan, enfocan y se iluminan las tomas para determinar el atractivo estético. La herramienta seleccionará tomas que estén mejor enfocadas, en lugar de borrosas o inestables, y también priorizará tomas que estén bien iluminadas. Según los creadores de Write-A-Video, el usuario puede reproducir el video generado en cualquier punto y obtener una vista previa con una narración en off que describe el texto utilizado para seleccionar los clips.
Según el equipo de investigación, su experimento demostró que las técnicas digitales que combinan aspectos de la visión por computadora y el procesamiento del lenguaje natural pueden ayudar a los usuarios en procesos creativos como la edición de videos.
“Nuestro trabajo demuestra el potencial de la coincidencia semántica visual automática en la edición computacional basada en expresiones idiomáticas, y ofrece una forma inteligente de hacer que la creación de videos sea más accesible para los no profesionales”. explicó Shamir a TechXplore.
Los investigadores probaron su herramienta en diferentes repositorios de video combinados con documentos de texto temáticos. Se realizaron estudios de usuarios y evaluación cuantitativa para interpretar los resultados del experimento. Los resultados de los estudios de usuarios encontraron que los no profesionales a veces pueden producir videos editados de alta calidad usando la herramienta más rápido que los profesionales que usan software de edición basado en cuadros. Según informa TechXplore, el equipo estará presentando su trabajo en unos días en el ACM SIGGRAPH Asia conferencia celebrada en Australia. Otras entidades también están utilizando IA para mejorar la edición de videos. Adobe también ha estado trabajando en iSus propias extensiones impulsadas por IA para Premiere Pro, su plataforma de edición. La herramienta ayuda a las personas a garantizar que los cambios en la relación de aspecto no corten partes importantes del video.