In situes una propuesta escénica acerca de las posibilidades de alteración de los significados en la interacción entre vídeo y música en tiempo real. Se propone un cambio de perspectiva en la escucha musical generado por la videocreación en vivo, mediante un lenguaje sin guion previo en el que ambas forman parte misma del acto creativo.
Como motor generador de ideas sonoras, se han utilizado materiales pertenecientes a las obras de dos compositores homónimos, ambos Francisco Guerrero. Uno del siglo XVI y otro del XX. Estos son: “Si la noche haze escura”, villancico atribuido a F. Guerrero S.XVI y “Sahara” F. Guerrero siglo XX.
El video ensayo articula su discurso en torno a dos conceptos: la noche y la oscuridad. Los músicos, inside y outside (vertebrados en ilustraciones), descubren el camino para envolverse en ambas. La música dibuja el camino de salida.
Haciendo uso de diferentes herramientas basadas en Inteligencia Artificial, el hilo conductor de la narración es la letra del villancico.
"In situ" is a theatrical concept exploring the potential for altering meanings through the
real-time interaction between video and music. It proposes a shift in the musical experience brought about by live video creation, employing a language devoid of predetermined scripts, where both components are integral parts of the creative process.
As a catalyst for sonic inspiration, materials from the works of two homonymous composers, both named Francisco Guerrero, have been utilized. One from the 16th century and the other from the 20th century. These materials include "Si la noche haze escura," a villancico attributed to F. Guerrero from the 16th century, and "Sahara," a composition by F. Guerrero from the 20th century.
The video essay structures its narrative around two central themes: night and darkness. Musicians, both inside and outside (incorporated through illustrations), discover the pathway to immerse themselves in both realms. Music charts the way out.
By employing various tools rooted in Artificial Intelligence, the overarching theme of the narration revolves around the lyrics of the villancico.
Palabras clave:
videocreación, Guerrero, noche, oscuridad, IA video creation, Guerrero, night, darkness, AI
In situ es una propuesta escénica consecuencia de la investigación realizada en TAI acerca de las posibilidades de alteración de los significados en la interacción entre vídeo y música en tiempo real. Esta performance incorpora la interpretación músical y la videocreación en vivo basándose en el estilo que normalmente se conoce como “Libre improvisación Europea” expandido al vídeo.
In situ propone un cambio de perspectiva en la escucha musical generado por la videocreación en vivo, mediante un lenguaje sin guion previo en el que filmación y proyección no resultan ilustrativas o explicativas, sino parte misma del acto creativo y del diálogo escénico.
Los intérpretes de la performance son: Vicenzo Germano (Electrónica), Tagore Rodríguez (Clarinete bajo, Trinidad Jiménez (Flauta), Miguel Gil (Electrónica), Francisco Utray (video) y Luis Lamadrid, (video). Jorge Álvaro ha documentado en video 3d la sesión.
En esta ocasión, como motor generador de ideas sonoras, se han utilizado materiales pertenecientes a las obras de dos reputados compositores españoles homónimos, ambos Francisco Guerrero. Uno es del siglo XVI y otro del XX.
Los materiales principales son, “Si la noche haze escura”, villancico atribuido a F. Guerrero, S.XVI, y “Sahara” F. Guerrero siglo XX.
Ambos compositores responden a estéticas históricamente distintas de una manera radical; en sus músicas se contraponen, entre otros conceptos, consonancia con disonancia integral y estructura tradicional con forma fractálica, traduciéndose estas dicotomías tanto en cualidades emocionales contrapuestas como en una respuesta de la memoria y de la identificación del objeto sonoro distinta por parte del oyente.
Distintos samples de ambos autores se han introducido en la electrónica, siendo manipulados con procesos similares al resto de la paleta de sonidos. La idea es plantear una suerte de reencarnación musical atemporal trenzada por la improvisación. El reto de la inclusión de citas relevantes de ambos autores dentro de la praxis de la libre improvisación consiste en integrar ambos lenguajes, tanto entre ellos como con el resto de los contenidos de la performance, sin que tomen un papel predominante, sino funcionando en un plano casi subconsciente.
Por último se destaca que la performance es el producto de esta investigación, trascendiendo y al margen de los formatos tradicionales logocéntricos heredados de otras disciplinas.
El video ensayo, In Situ (Inside, outside), articula su discurso en torno a dos conceptos: la noche y la oscuridad. Los músicos, inside y outside (vertebrados en ilustraciones), descubren el camino para envolverse en ambos. La música dibuja el camino de salida.
Haciendo uso de diferentes herramientas basadas en la inteligencia artificial, el hilo conductor de la narración es la letra del villancico, “Si la noche haze escura”, así como el uso de fractales como conexión a la pieza “Sáhara”. La letra del villancico dice así (Villancico atribuido a F. Guerrero S.XVI):
Si la noche haze escura
y tan corto es el camino,
¿Como no venis, amigo?
La media noche es pasada
Y el que me pena no viene;
Mi desdicha lo detiene,
¡Que nasçi tan desdichada!
Hazeme bivir penada
Y muéstraseme enemigo.
¿Cómo no venis, amigo?
Como parte de la línea de investigación que estoy llevando a cabo, quise desarrollar la construcción de imágenes y video con inteligencia artificial, combinadas con la grabación realizada durante la performance. El objetivo fundamental es abordar la implementación de algunas herramientas de inteligencia artificial generativa en el proceso creativo. También me planteé valorar su flujo de trabajo y determinar la eficacia de las mismas en la postproducción de una pieza audiovisual.
La metodología empleada se describe a continuación:
-Se utilizaron imágenes de los músicos como punto de partida para generar sus alter egos ilustrados mediante la aplicación Leonardo.
Figura 1. Detalles del proceso de creación usando el programa de generación de imágenes Leonardo.
-Se desarrollaron las imágenes fijas de los escenarios, pulsando las emociones que la letra de Guerrero nos proporcionaba. Usamos ChatGPT para mejorar y afinar los prompts, que luego introducimos en Leonardo.
Figuras 2 y 3. Detalles de la creación de imágenes fijas y escenarios.
Las imágenes fijas, las introducimos en la aplicación de PiKa Labs, mediante un servidor de Discord, para dotarlas de movimiento.
Figura 4. Uso de Discord y Pika Labs.
En el programa After Effects, se generaron los fractales que conectan con la forma de onda de la música, para tener una animación que se moviera junto con el ritmo sonoro:
Figura 5. Detalle del área de trabajo en el programa After Effects.
Todo el contenido se introdujo en DaVinci Resolve para montarlo, hacer la postproducción y el acabado final:
La estética de las imágenes elegida utilizaba una paleta de color fría, intercalada con algún color opuesto para realzar algunos elementos por contraste cromático, por ejemplo naranjas. Se buscaba potenciar la oscuridad y la noche, en consonancia con la letra del villancico.
Figura 7. Decisiones sobre la paleta de colores.
En el caso de las imágenes grabadas durante la performance “In situ”, que se grabaron en formato vertical con dos cuerpos de cámara a la vez y colocados lo más cerca posible uno del otro para simular un 3D, se mantuvo la atmósfera de la iluminación original.
Se descartó finalmente la idea de llevar a cabo una postproducción en 3D debido a que no iba a encajar con el trabajo de imagen generativa que queríamos poner en práctica.
Por último, la voz en off está generada por la aplicación IIElevenLabs, utilizando un texto generado por ChatGPT que se inspira en la letra del villancico anteriormente citado:
Figura 8. La voz en off; entre IIElevenLabs y ChatGPT.
Este es el texto íntegro que se generó y del que parte fue utilizado:
“ VOZ EN OFF
*(Inicio del Video)*
**Voz en off (calma y reflexiva):**
"En la profundidad de la noche, donde las estrellas titilan como lamentos lejanos, nos encontramos con la melancolía de la espera. En la penumbra, un eco resonante se eleva, preguntándose en susurros al viento:"
**Voz en off (contemplativa):**
"Si la noche hace oscura y tan corto es el camino, ¿cómo no venís, amigo? La media noche ha pasado, y el que me pena no viene. Mi desdicha lo detiene. ¡Qué nací tan desdichada!"
**Voz en off (emocional y apasionada):**
"Hazme vivir penada y muéstrame enemigo. ¿Cómo no venís, amigo? Estas palabras, tejidas con hilos de espera y anhelo, resuenan en cada nota, en cada suspiro de los músicos que han conocido la desdicha de esperar en la oscuridad."
**Voz en off (determinada y esperanzada):**
"En la música, encontramos una forma de expresar la desesperación y la resistencia ante la incertidumbre. Los músicos, como alquimistas del alma, transforman la espera en una sinfonía de esperanza, tocando en la oscuridad con la certeza de que la luz finalmente llegará."
**Voz en off (suave y esperanzada):**
"Así, mientras esperamos en la oscuridad, recordamos que incluso en los momentos más sombríos, la música nos guía hacia la luz. En cada nota, encontramos la promesa de un nuevo amanecer, donde la espera se convierte en una danza eterna entre la desdicha y la esperanza."
*(Final del Video)***Voz en off (serena y reflexiva):**
"En la noche más oscura, encontramos la fuerza para esperar, y en la música, descubrimos el consuelo para nuestras almas errantes. La espera puede ser desdicha, pero también puede ser el crisol donde nuestros corazones encuentran la verdad más profunda: en la espera, encontramos el poder de la esperanza."
Conclusiones
Aunque partimos del contenido generado por las herramientas de inteligencia artificial generativas, fuimos afinando y haciendo las modificaciones oportunas hasta obtener el resultado más acorde con el acabado final.
En este proceso de investigación, hemos obtenido una serie de conclusiones que queremos poner de manifiesto:
La primera de ellas es la utilidad de las herramientas generativas como motor generador de un proyecto audiovisual, aunque no como el único. Es importante establecer mecanismos que permitan aprender de ellas, para valorar el momento del proceso en el que se usan.
La segunda es la necesidad de que el usuario debe poseer un conocimiento propio sobre el tema a tratar, ya que la ausencia de éste, puede derivar en discursos pueriles y vacíos de significado. De nada sirve que genere imágenes si no posees la capacidad de discriminar la importancia de las mismas, incluyendo los matices en cada una de ellas.
La tercera es la aleatoriedad y fortuna en la construcción de las mismas, ya que en en el caso de las generadas durante esta investigación, el impacto de ambas se intentó minimizar pero quedó patente en muchos casos.
Por último, el sesgo de la generación de imágenes, contenido en el interior del diseño de estas aplicaciones. Sin indagar de manera profunda (algo que se desarrollará en futuras investigaciones), el sesgo queda expuesto burdamente en cada imagen generada.
Líneas de investigación y creación: inteligencia artificial y el sesgo, la creación audiovisual y la inteligencia artificial, la representación de la mujer en el cine y la fotografía actual Proyectos en marcha: C.I.A.A.V. (Crítica e Ideología en la Inteligencia Artificial Audiovisual); FESCINE (festival de cine escolar en Guinea Ecuatorial); documental sobre la NBA en España.
Doctor en Comunicación Audiovisual con un enfoque en Investigación de Medios de Comunicación de la Universidad Carlos III de Madrid y un máster en Estudios de Cine Español de URJC, además de una licenciatura en Historia de la UAM. Desde 2004, combina su trabajo profesional en el campo de la captura de imágenes y la postproducción, con la enseñanza audiovisual.
Su actividad investigadora se centró en los estudios de máster y doctorado. En el primero, exploró la relación entre el director de fotografía y el montador de cine. Durante su doctorado, profundizó en el campo de la cinematografía digital, investigando la aparición del cine digital y su impacto en la fotografía cinematográfica.
En la actualidad, su investigación se centra en el papel que tiene la mujer en el cine y la fotografía, tanto de hoy día como en el pasado, además de analizar el papel que la Inteligencia Artificial está teniendo en ambos campos.
Actualmente, es profesor de la Facultad de Artes Visuales en TAI, colabora como fotógrafo y editor para, ElConfidencial.com y unido a la creación de contenido, es el director audiovisual de PlanetaNBA. Además de nuevos proyectos documentales, ha terminado el etalonaje digital de su documental "El niño de las dos culturas", dirigido por Eduardo de Armiñán y filmado en los campamentos de refugiados saharauis.
