Künstliche Intelligenz schreibt Zukunftsmusik

Von Daniel Pfäffli

HSLU-Forschende haben ein neues Verfahren entwickelt, das automatisch feststellt, was Musik besonders macht oder woher sie stammt. Das kann Hörsysteme verbessern, das Urheberrecht stärken und Musikkompositionen bereichern. In diesem Beitrag erklärt KI-Forscher Daniel Pfäffli, wie das Projekt Artificial Yodel funktioniert.

Im Jahr 2018 jodelte mein Computer zum ersten Mal. Das war eine aussergewöhnliche Leistung. Der Computer, genauer ein Model der künstlichen Intelligenz (KI), erlernte das Singen, in dem ich es auf 15 Stunden Natur-Jodel, also wortlosen Gesang ohne Instrumentenbegleitung, trainieren liess.

So gelang es mir, den Klang von Jodelmelodien mit hohem Wiedererkennungswert zu erzeugen­. Das Ergebnis ist dennoch keine «echte» Musik. Es fehlen Elemente, die für unser Musikhören wesentlich sind – dazu gehören eingängige melodische Motive, Wiederholungen, Variationen, die Bildung von Phrasen und grösseren Zusammenhängen.

Einzigartige Songstellen mit KI erkennen

Ich blieb am Thema Jodeln dran. Im Folgeprojekt «Artificial Yodel» entwickelten Yannick Wey vom Departement Musik, Fabian Gröger und ich ein anders konzipiertes KI-Model. Es ist nicht darauf spezialisiert, Musik zu generieren, sondern zu erkennen und aufzuzeigen, was in einem Musikstück passiert. Dieses interdisziplinäre Projekt erfordert ein tiefes Verständnis von Datenwissenschaft, KI und Musiktheorie. Dadurch können lange diskutierte Fragen der Musik auf neue Weise erforscht werden. Zum Beispiel, was ein Lied einzigartig macht oder woher ein Lied stammt.

Das Projekt erfordert ein tiefes Verständnis von Datenwissenschaft, KI und Musiktheorie.

Aber wie kann nun ein KI-Model lernen, einzigartige Songstellen zu erkennen? Das zeige ich anhand eines Ausschnitts aus dem Lied «Chilbizyt», den unser Model analysiert hat.

Ob es sich bei der rot markierten Stelle um eine einzigartige oder doch willkürliche Stelle im musikalischen Sinn handelt, kann Yannick Wey leider noch nicht sagen, «denn menschliches Hören nimmt Musik anders wahr als eine Maschine.»

Bisher haben wir gezeigt, dass der Algorithmus erkennt, wann in einer Tonaufnahme etwas Besonderes passiert. Nachfolgende Analyse zeigt auch in welcher Stimmlage.

Sind Sie neugierig geworden? Hier können Sie das Tool selbst ausprobieren.

KI lernt von Jodel und Techno

Für das Projekt Artificial Yodel haben wir mit zwei Datensätzen gearbeitet: mit einer Sammlung von Naturjodel aus verschiedenen Regionen der Schweiz und mit dem Set eines DJs mit unterschiedlichen Techno-Subgenres. Der Grund ist, dass die KI sinnvollere Dinge auswählt, wenn sie auch mit artenfremden Daten trainiert wird.

Die Identität anonymer Klänge aufdecken

Dieses Projekt ist ein gutes Beispiel dafür, dass künstliche Intelligenz ganz neue Dinge ermöglicht, zum Beispiel in der Provenzienforschung, welche sich mit der Herkunft von Kunstwerken befasst.

Heute gibt es rund 2’000 Aufzeichnungen von Schweizer Jodelliedern. Es besteht aber auch ein grosses Jodelarchiv mit unbekannten Autorinnen und Autoren. Wie können wir eine anonyme Aufnahme einem Stil, einer regionalen Tradition oder sogar Interpretinnen und Interpreten zuordnen?

Um die «nächsten Nachbarn» einer neuen Tonaufnahme mit einer archivierten Sammlung abzugleichen, wird dasselbe KI-Verfahren wie oben beschrieben angewendet. Die Frage zielt diesmal nicht darauf ab, wie einzigartig ein Stück ist, sondern wie ähnlich es einem anderen ist.

Auf diese Weise wird ermittelt, welche Musikstücke die drei, zehn oder zwanzig ähnlichsten sind. Beim Jodeln ist dies eine gute Voraussetzung für die Provenienzforschung, also die Suche nach dem Ursprung einer anonymen Melodie.

Vielleicht findet der Algorithmus eine andere Version desselben Stücks in einem anderen Datensatz oder schlägt sinnvolle Zuordnungen zu einer Sammlung vor. Testversuche sind vielversprechend: So wurde beispielsweise ein Naturjodel sinnvoll mit Musikstücken aus der gleichen Region assoziiert.

KI inspiriert die Kreativität des Menschen

Mit unserem Projekt haben wir untersucht, wie sich maschinelle und menschliche Kognition unterscheiden. Das eröffnet mehrere Anwendungsmöglichkeiten.

Beispielweise können Werkzeuge geschaffen werden, die Künstlerinnen und Künstler bei ihrer kreativen Arbeit unterstützen. So können sie neue Musik erstellen oder weiterentwickeln. Spezifisch für DJs, welche ihre Musiksammlungen vor jedem Auftritt vorbereiten müssen, bieten solche Werkzeuge eine Erleichterung.

Für weniger musikalische Menschen können KI-Werkzeuge einen Zugang zur Produktion von Musikstücken bieten.

Aber auch für weniger musikalische Menschen können solche Werkzeuge einen niederschwelligen Zugang zur Produktion von Musikstücken bieten. So könnten Hobby-Musikerinnen und -Musiker damit ihre Eigenkreationen testen und vergleichen. Die KI könnte für sie spannende Sequenzen und ähnliche Liedausschnitte hervorheben und Ausschnitte von professionellen Musikerinnen und Musikern als Anregung abspielen.

Neue Möglichkeiten für KI-Hörhilfen und das Urheberrecht

Ein weiterer möglicher Bereich ist der Gesundheitssektor. Zum Beispiel bei der Verbesserung von Hörsystemen. Wenn unsere KI lernt, einzelne Instrumente in einem Song automatisch zu erkennen, wird sie im Einsatz für Hörgeräte auch erkennen können, wann zum Beispiel eine neue Sprecherin oder ein spezifisches Geräusch einsetzt und so die Tonqualität verbessern können. Das wird für die Nutzenden ein grosser Mehrwert sein. Mögliche weitere Anwendungen sind das Urheberrecht, Copyright Verletzungen, das Erkennen von Autorinnen und Autoren oder möglicherweise Imitaten.

Wenn unsere KI lernt, einzelne Instrumente in einem Song automatisch zu erkennen, könnte sie auch Hörgeräte verbessern.

Vorderband bleibe ich am Thema Musik und KI dran: Im nächsten Projekt des Interdisziplinären Themenclusters (ITC) geht es um «Onset-Detection von Schlagzeugklängen in komplexen Schallsignalen». Zusammen mit Fabian Gröger und Lorenz Kilchenmann versuche ich dort Schlagzeugklänge zu erkennen, wenn sie im Zusammenspiel mit mehreren Instrumenten vorkommen.

Unsere Experten für Machine Learning:

Daniel Pfäffli ist hochspezialisierter wissenschaftlicher Mitarbeiter im Algorithmic Business Research Lab.

Fabian Gröger ist Master-Student an der HSLU und wissenschaftlicher Assistent im Algorithmic Business Research Lab.

Unser Experte für Jodel:

Yannick Wey ist promovierter Musikwissenschafter und forscht an der Hochschule Luzern – Musik unter anderem zu Volksmusik.

Interdisziplinäre Themencluster

Das interdisziplinäre Forschen, Lehren und Lernen ist eine der herausragenden Qualitäten der Hochschule Luzern. Die departements- und fächerübergreifende Zusammenarbeit wird seit vielen Jahren in allen Bereichen gefördert und aktiv gelebt. Sinnbildlich dafür sind die Interdisziplinären Themencluster (ITC).

Neuer Major: Music and Digital Creation

Digitale Werkzeuge braucht es inzwischen in beinahe allen musikalischen Feldern. Dazu lancieren die beiden Departemente Musik und Informatik der Hochschule Luzern per Herbst 2022 den neuen Major auf Master-Stufe «Music and Digital Creation».

Einstieg in die IT-Welt: Das Departement Informatik der Hochschule Luzern bietet Bachelor-Studiengänge in Artificial Intelligence & Machine Learning, Digital Ideation, Informatik, Information & Cyber Security, International IT Management und Wirtschaftsinformatik an. Im Master-Studium vertiefen Studierende die Bereiche Informatik oder Wirtschaftsinformatik.

Informiert bleiben

Tipps, Trends und Neuigkeiten aus der Welt der Informatik, Porträts von IT-Vordenkerinnen, Visionären und spannenden Menschen: Abonnieren Sie jetzt unseren Blog!