Un equipo de investigadores de la Universidad de Washington desarrolló un sistema de inteligencia artificial (IA) llamado Audeo que puede crear audio a partir de interpretaciones silenciosas de piano. La fase de prueba involucró aplicaciones de reconocimiento de música como SoundHound, que podía identificar correctamente la música de Audeo alrededor del 86 % de las veces.
Él investigar fue presentado en la conferencia NeurlPS 2020 el 8 de diciembre.
El autor principal, Eli Shlizerman, es profesor asistente en los departamentos de matemáticas aplicadas e ingeniería eléctrica e informática de la universidad.
“Antes se creía que era imposible crear música que suene como si pudiera tocarse en una interpretación musical”, dijo Shlizerman. “Un algoritmo necesita descubrir las señales o ‘características’ en los cuadros de video que están relacionados con la generación de música, y necesita ‘imaginar’ el sonido que está ocurriendo entre los cuadros de video. Requiere un sistema que sea a la vez preciso e imaginativo. El hecho de que consiguiéramos música que sonara bastante bien fue una sorpresa”.
Cómo funciona Audeo
El sistema Audeo funciona decodificando un video y traduciéndolo a música. El primero de varios pasos implica que la IA detecte las teclas presionadas en cada cuadro de video y, finalmente, desarrolle un diagrama. Luego, el diagrama se traduce para que un sintetizador de música pueda reconocer los sonidos.
El siguiente paso es limpiar los datos y agregar información adicional. Esta información puede incluir cosas como la presión detrás de cada pulsación de tecla y cuánto tiempo duró.
“Si intentamos sintetizar música solo desde el primer paso, encontraremos que la calidad de la música no es satisfactoria”, dijo Shlizerman. “El segundo paso es como cuando un maestro repasa la música de un estudiante compositor y ayuda a mejorarla”.
El sistema fue entrenado y probado con videos de YouTube del pianista Paul Barton, y constaba de alrededor de 172 000 cuadros de video del músico tocando varios compositores clásicos como Mozart. Audeo se probó con 19 000 fotogramas de Barton reproduciendo música diferente.
el sintetizador
Después de ser entrenado, Audeo genera una transcripción de la música, que luego se envía a un sintetizador para traducirla en sonido. La música suena diferente dependiendo de cada sintetizador, lo que equivale a cambiar la configuración del instrumento en un teclado eléctrico.
El equipo utilizó dos sintetizadores separados.
“Fluidsynth produce sonidos de piano de sintetizador con los que estamos familiarizados. Estos suenan algo mecánicos pero son bastante precisos”, dijo Shlizerman. “También usamos PerfNet, un nuevo sintetizador de IA que genera música más rica y expresiva. Pero también genera más ruido”.
“El objetivo de este estudio era ver si la inteligencia artificial podía generar música interpretada por un pianista en una grabación de video, aunque no pretendíamos replicar a Paul Barton porque es un gran virtuoso”, continuó Shlizerman. “Esperamos que nuestro estudio permita formas novedosas de interactuar con la música. Por ejemplo, una aplicación futura es que Audeo se puede extender a un piano virtual con una cámara que graba solo las manos de una persona. Además, al colocar una cámara encima de un piano real, Audeo podría potencialmente ayudar en nuevas formas de enseñar a los estudiantes a tocar”.
Kung Su y Ziulong Liu, estudiantes de doctorado en ingeniería eléctrica e informática, fueron coautores del artículo.