die Musik

Notizen zur Komposition von “Nessun_Dorma“

  • Allgemein
    • Wir haben sowohl klassische elektroakustische Techniken wie auch neuronale Netzwerke benutzt, die wir für das Projekt selber entwickelt haben.
    • Als Ausgangsmaterialien bzw. Trainingsdaten haben wir NUR die Arien der Kassette verwendet
    • Wenn wir neuronale Netzte trainiert haben, haben wir verschiedene Mengen von Daten und Modellen bei verschiedenen Trainings-Stadien gespeichert. Im Unterschied zu Forschungsansätzen, wo man das am besten performierendes Modell will, haben wir durch unterschiedlich trainierte Netzwerke einen Reichtum an Errors und Verfremdungen entwickelt, die wir dann als expressive Reservoir für die Komposition eingesetzt haben.
  • Modelle
    • Wir empfehlen „neuronale Netzte“ oder „Modell“ eher als „AI“ beim Erklären zu verwenden.
    • Die Modelle, die wir entwickelt haben, generieren Outputs, in dem sie eine numerische Repräsentation der Musik durch eine mathematische Funktion transformieren.
    • Im Grunde handelt es sich um viele Input-Zahlen, die durch vielen fixe Parameter multipliziert und addiert werden. Mehr nicht…
    • Die „Magie“ des Modells wird durch die Lernphase erreicht.
    • In der Lernphase werden die fixen Parametern des Modells nach und nach schrittweise geändert, sodass die Zukunft jedes Inputs möglichst fehlerfrei als Resultat der mathematischen Funktion zurückgegeben wird.
    • Wenn ihr nach den ganz genaue Fachterminus gefragt werdet, könnt ihr antworten: „Alle Modelle sind autoregressive convolutional Netzwerke, die den Daten in Frequenz-Domain verarbeiten.“
  • Kassette
    • Die Kassette besteht aus einer fließenden Reihung von Tracks.
    • In jedem Track kommt ein Teil einer Arie vor, dessen meisten Fragmente deutlich zeitlich ausgedehnt sind.
    • Zwischen den Tracks bauen wir Brücken mit den Outputs von Modellen, die mit allen Arien trainiert worden sind.
  • Murmle und Beeps (Töne Putzini)
    • Zu erst haben wir die Originale Arien durch komplexen Filtern gehen lassen. Dies sind die Murmle
    • Dann haben wir die Murmle eine Art Sprachcharakter gegeben, indem wir sehr kontrastierende Effekte auf kleine Teile eines Murmeln verwendet haben und die Ergebnisse dann in sich wiederholende Strukturen gereiht, so dass einen robotischen Sprachcharakter entsteht. Das sind dann die pre-saugen Beeps
    • Bei post-saugen Beeps haben wir die gleiche Methode verwendet aber die Inputs waren Fragmente aus der originalen Arien, und die Effekte waren „softer“ parametriziert.
  • Practice (erste Versuche Arie Putzini)
    • Um das Üben einer Arie zeigen zu können, haben wir erstmal eine Modellsammlung nur aus „O Terra“ generiert.
    • Bei jeden Practice Step haben wir unsere Modellsammlung auf der Suche nach dem Step entsprechende und unserer Vorstellung erregende Materialien erkundet. Wir haben versucht dabei den Lernprozess von Putzini musikalisch deutlich und spannend zu machen. Da in unserer Sammlung qualitativ sehr unterschiedliche Resultate gab, mussten wir erstmal viel manuell auswählen…
    • Die eigentliche Komposition der Practice Steps erfolgte dann in einem standarden Software um audiofiles zu schneiden und editieren. 
  • Arie (Putzini)
    • Ähnlich wie Practice, haben wir noch eine Modellsammlung generiert, dessen Trainingsdaten 50%  aus  „O Terra“ und 50% aus anderen Arie der Kassette bestanden.
    • Anders zu Practice, haben wir kompositorische Algorithmen programmiert, die Texturen/Phrasen von Modell-Outputs generierten und diese Materialien haben wir als Grundlage für die Komposition verwendet.
    • Am Ende der Arien dehnen wir zunehmend die Zeit mit den gleichen Techniken als in der Kassette, sodass es gleichzeitig das Sterben und die Verwandlung in der Kassette darstellt.