Computer compositing - · Periodizität Umwelt Abwechslung Das fundamentale Gleichgewicht der...
Transcript of Computer compositing - · Periodizität Umwelt Abwechslung Das fundamentale Gleichgewicht der...
Historie
• 1026: Benediktinermönch ordnet den Silben religiöser Texte verschiedene Töne zu
• 1660: Athanasius Kircher baut eine Komponiermaschine
• 1793: Mozarts „Anleitung zum Componieren von Walzern“ erscheint posthum
• 1960: Komponist Iannis Xenakisschreibt ein Fortran Programm das Partituren erzeugt
6
Arca musarithmica(Komponiermaschine)Bild: Wikimedia
Mozarts Buch zum Komponieren mit WürfelnBild: Amazon
Was ist Musik? - Definition
• Folge von organisierten Schallereignissen (Töne) verschiedener – Lautstärke– Tonhöhe– Auslösezeit, Tondauer
• Mehrere Töne hintereinander bilden eine Melodie
• Mehrere Töne übereinander bilden eine Harmonie
• Töne stammen aus einer Skala
10
Periodizität AbwechslungUmwelt
Das fundamentale Gleichgewicht der Musik
Sicherheit AbenteuerEmotion
Rhythmus Refrain Melodie Strophe
Musik
13
Oft macht grade das Brechen der formalen
Kriterien besonders gute Musik aus.
17Bild: Cover des Beatles Albums Sergeant Pepper
Format: Noten oder Waveform
21
Noten Waveform
Geringe KomplexitätBerechnung: Realtime – wenige Stunden
Hohe KomplexitätBerechnung: wenige Stunden - Tage
Leicht editierbar, kein Endprodukt
Endprodukt, Editierung eingeschränkt
Musik ist nicht so komplex, keine Vocals
Musikalische Komplexität potentiell sehr hoch, Vocals theoretisch möglich
Vereinfachung Beispiel
26
Original MIDI-File
QuantisierenVarianz
entfernenMonofonie
0 24 26 28 281 1 1 1 2
…
Methoden zur Erzeugung
1. Stochastische Methoden
2. Wissensbasierte Systeme
3. Musik als Sprache
4. Evolutionäre Algorithmen
5. Künstliche neurale Netzwerke
28
1. Stochastische Methoden
• Stochastische Analyse einer Eingabe, zur Erzeugung einer stochastisch ähnlichen Ausgabe
29
Positiv Negativ
Es sind Loop Escape – Mechanismen nötig
Niedrige Komplexität Um einen Stil gut zu simulieren benötigt man sehr große Datenmengen
geeignet für Echtzeitanwendungen Es ist schwer höhere abstraktere Muster zu erkennen und zu imitieren
Abweichungen von der Norm sind in bestimmten Fällen besonders wichtig
1. Beispiel – Markow-Ketten
• Mathematisches System um die Wahrscheinlichkeiten von Zustandsveränderungen zu erfassen
• Genutzt z.B. von Textvervollständigung oder dem PageRank Algorithmus von Google
30
Andrei Andrejewitsch Markow, russischer Mathematiker, 1856-1922Bild: Wikimedia
1. Markow Ketten - Vorgehensweise
• Aus Trainingsdaten werden die Transitionswahrscheinlichkeiten ermittelt
• z.B. bildet eine Note einen Zustand
• Daraus werden neue Ketten nach den ermittelten Wahrscheinlichkeiten gebildet
31
1. Musik durch Markov Ketten - Beispiel• Markow Kette erster Ordnung
– Es wird immer aus der aktuellen Note auf die Nachfolgende geschlossen
32
NoteDauer
Auf die Note A6 folgte 28 mal die Note G# mit einer Länge von 500ms
1. Musik durch Markov Ketten -Beispiel
• Input:
– River Flows In You - Yiruma
• Output:
– River Flows In You (Markow Version) – Alvin Lin
33
2. Wissensbasierte Systeme
• Werden z.B. genutzt um Usern neuen Content vorzuschlagen
• Symbolisches erzeugen von Musik nach definierten Regeln
35
Positiv Negativ
Ergebnisse können genau nachvollzogen werden (benutzte Regeln)
Regeln präzise festlegen ist langwierig, Musikexperten erforderlich
Viele Regeln sind bekannt -> Musiktheorie Subjektivität
Benötigt keine Trainingsdaten Systeme neigen dazu sehr kompliziert zu werden, Vereinfachungen kaum möglich
3. Musik als Sprache
• Melodieerzeugung mithilfe von Grammatiken
• Beispiel anhand von Mozarts frühen Stücken
36
3. Musik als Sprache - Beispiel
LIED -> SONATE | RONDO | FUGE
SONATE -> INTRO MENUETT FINALE
INTRO -> MELODIE_C_DUR MELODIE_F_DUR MELODIE_C_DUR
37
3. Musik als Sprache - Beispiel
• Nachteile:
– das Finale sollte die selben Melodien enthalten wie das Intro
– Melodiegenerierung
– Grammatiken werden sehr schnell sehr kompliziert
• Vorteile:
– Geeignet für die Struktur eines Stücks als Teil eines Hybridsystems
38
4. Evolutionäre Methoden
• Naturanaloges Optimierungsverfahren
• Fitness Function
– Kriterien
– Mensch
40
Positiv Negativ
Effizient, besonders bei großem Suchraum Automatische Fitness Function ist sehr begrenzt möglich
Stellen mehrere Lösungen zur Verfügung Bei menschlicher Variante: äußerst ineffektiv und subjektiv
Lösung nicht begründet/nachvollziehbar
Die Antenne der Space Technology 5 Satelliten, von EAs entwickeltBild: Wikimedia
5. Künstliche neurale Netzwerke
• Kein Vorwissen
• Werden mithilfe von Trainingsdaten trainiert
• Momentan populärste und erfolgreichste Methode zur Musik Erzeugung
41
InputOutput
Hidden layers
Künstliche neuronale Netzwerke sind Netze aus künstlichen Neuronen. Sie stellen einen Zweig der künstlichen Intelligenz dar.Bild: Wikimedia
Nutzungssrichtung
5. Musikalische Stiladaption
44
………
bachBotOutput
Twinkletwinkle littleStar
… …
Trainingssrichtung
State of the Art
51
BachBot
Ersteller Feynman Liang (Cambridge University)
Methode Neuronale Netzwerke
Ausgabe Noten, Stil von Bach
Eigenschaften Bis zu 4 Stimmen parallel, Eingabe Melodie
Mensch oder Maschine Quiz:http://bachbot.com/#/quiz?_k=btgu5h
State of the Art
52
WaveNet
Ersteller Google
Methode Neuronale Netzwerke
Ausgabe Audio Waveform
Eigenschaften Hier mit Klassik trainiert, eigentlich für Spracherzeugung konzipiert
reden brabbeln Musik
Ausblick
• Personalisierte Musik
• Möglichkeiten wie „Bachisieren“ oder „Mozarten“ in Musik Software
• Assistenten mit Melodievorschlägen in Musik Software
• Film-/Gamemusik Generierung nach vorgegebener Spannungskurve
54
Hauptquellen
• AI Methods for Algorithmic Composition: A Survey, a Critical View and Future Perspective; George Papadopoulos, Geraint Wiggins
• Music and Computer Composition; James Anderson Moorer
• Genetic Algorithms and Computer-assistedMusic Composition; Andrew Horner
• Using machine-learning Methods for Musical Style Modeling; Shlomo Dubnov, Gerard Assayag, Oliver Lartillot, Gill Bejerano
56
Detailquellen
• Musik: https://de.wikipedia.org/wiki/Musik• Aufbau: http://www.musikanalyse.net/tutorials/popformeln/• Stilentwicklung: https://googlesystem.blogspot.de/2014/01/google-music-
timeline.html#gsc.tab=0• Markov Chains: https://medium.com/@omgimanerd/generating-music-
using-markov-chains-40c3f3f46405• Markow Audio:
https://www.youtube.com/watch?time_continue=77&v=K8viCLJAxec• State of the Art
http://www.asimovinstitute.org/analyzing-deep-learning-tools-music/https://deepmind.com/blog/wavenet-generative-model-raw-audio/
• Neurale Netzehttp://neuralnetworksanddeeplearning.com/chap1.html
• Wave nethttps://deepmind.com/blog/wavenet-generative-model-raw-audio/
57