Inteligencia Artificial como herramienta para la Producción Musical por Mathias Gatti

WIP arte digital surge en 2018 como un proyecto de gestión cultural independiente para la difusión de las artes digitales y electrónicas, un espacio para la formación por fuera de los circuitos académicos, atendiendo a las dinámicas propias del surgimiento de la escena local, como la autogestión, el auto didactismo y el sentido de comunidad. Sus talleres buscan incentivar la investigación sobre los nuevos usos de recursos tecnológicos y una actitud reflexiva acerca de las lógicas de pensamiento en proceso permanente que atraviesan a las prácticas de producción artística en el actual contexto socio cultural.

¿Por qué inteligencia artificial aplicada al arte?

De forma similar a cuando unx quiere explicarle a otra persona qué es el arte, al intentar desarrollar máquinas que producen algún tipo de arte unx se enfrenta a la difícil tarea de describir en términos simples (en este caso comandos básicos de computadora) ideas propias sobre lo que es el fenómeno artístico y como se desarrolla. Luego, de igual forma que un alumno toma ideas de su profesor, la IA seguirá nuestras enseñanzas para construir una obra original (entendida ésta como el establecimiento de nuevos vínculos). Una mezcla entre nuestra intuición del fenómeno artístico y la tenacidad de nuestra computadora para trabajar de forma continua por horas nos brinda no solo una gran forma de generar arte en colaboración con las máquinas sino que también una forma de entender mejor lo que es el arte para nosotrxs mismos.

Objetivos

• Obtener conocimientos teóricos y prácticos sobre la inteligencia artificial y las arquitecturas de redes neuronales como potenciales motores de creación.
• Introducirse en el manejo de herramientas y plataformas de machine learning como Python y Google Colab.
• Analizar obras y modelos de inteligencia artificial aplicados a la producción musical y literaria.
• Brindar herramientas que permitan mantenerse actualizados e incorporar herramientas futuras.
• Realizar, en cada clase, actividades prácticas que permitan obtener experiencia directa con estas tecnologías y permitan que lxs participantes puedan producir una pieza propia.

Contenidos por clase:

Clase 1: Intro y composición

• Intro python, música y machine learning
• Generación de letras y melodías
  • lyrics.mathigatti.com
  • GPT-2
• Generación de composiciones
  • Treblemaker
  • Aiva
  • Magenta
  • OpenAI Jukebox

Clase 2: Sampling & MIR (Music Information Retrieval)

• Identificación de beats y secciones: wav2loops
• Spleeter: Separación de fuentes de audio
• Transcripción automática: wav2midi
• Partición de grabaciones por silencio: pydub

Clase 3: Síntesis

• Síntesis de audio
  • Síntesis basada en samples: NSynth / BearBass
  • GanSynth
• Síntesis de voz
• Síntesis de canto

Clase 4: Video musical y Performance

• Video musical
  • Generación automática de videoclips
    • wav2lips
    • GANs
  • Efectos de video
    • Style transfer
• Performance
  • FoxDot
  • Música con gestos
• Extras
  • plugins para DAWs
  • Reducción de ruido y mejoramiento de la calidad de audio/grabación
  • Audio 3D