Kann ein Computer ein neues Latte-Art-Kunstwerk kreieren?

Sie lieben Kaffee und Machine Learning. Deshalb haben sich das Algorithmic Business Team des Departements Informatik und das Data Science Team der Jaywalker Digital AG als Machine-Learning-Baristas versucht.  

Kommen zwei Data Scientists in die Bar… oder so ungefähr fing das Ganze an. Dr. Prof. Marc Pouly und ich wurden als Speaker eingeladen, um über anwendungsorientierte Data Science und Künstliche Intelligenz (KI) zu sprechen.

Kurz nach dem Vortrag trafen wir uns an der Bar und der Barista fragte, welchen Kaffee wir gerne hätten und was er uns in den Schaum zeichnen dürfe. Zu diesem Zeitpunkt wussten wir noch nicht, dass wir den Schweizer Barista-Meister vor uns hatten, und waren verblüfft, welche Kunstwerke er in den Kaffee zeichnete. Er erklärte uns, dass es sich dabei um Latte Art handelt.

«Gelingt es uns, einer Maschine beizubringen, neue Latte Art zu schaffen?»

Inspiriert von den Gesprächen nach unseren Vorträgen warfen wir einen Blick auf die beiden Meisterwerke und stellten uns die Frage: Gelingt es uns, einer Maschine beizubringen, neue Latte Art zu schaffen? Wir wollten uns auf dieses Experiment einlassen und organisierten alles, was es brauchte, um diese Herausforderung anzugehen: Daten und ein Team erfahrener Data Scientists und Machine-Learning-Expertinnen und Experten.

Inspiration für die Maschine

Die Daten in Form von Latte-Art-Bildern bezogen wir von Instagram. Dazu luden wir 30’000 Bilder mit dem Hashtag #latteart herunter, ein Vorgang, der als «crawling» bezeichnet wird.

Viele der Bilder waren unbrauchbar und mussten manuell selektiert werden. Von den ursprünglich 30’000 Bildern genügten zehn Prozent unseren Qualitätsstandards. Denn nur was wirklich nach Latte Art aussieht, wird später auch Latte Art generieren.

Mit Hilfe von GANs neue Bilder erschaffen

Um zu lernen, wie neue Latte Art generiert werden kann, wurde bei rund 3’000 hand-selektierten Latte-Art-Bildern ein Machine-Learning-Verfahren namens «Generative Adversarial Networks» (GANs) angewandt.

Bei GANs spielen sozusagen zwei neuronale Netzwerke gegeneinander. Die Netzwerke bestehen aus zwei KI-Agenten: einem Fälscher (Generator) und einem Polizisten (Discriminator), wobei der Fälscher das Bild fälscht und der Polizist versucht, die Fälschung zu erkennen.

Wir haben es versucht

Wie gut diese Trainingsmethode funktionieren kann, zeigt Nvidia anhand realistischer Fake-Porträts von generierten «Promis». Egal ob Promi oder Kunst: Die KI benötigt entsprechende Trainingsdaten, mit denen das Netzwerk stufenweise trainiert wird. Zunächst lernt die Fälscher-KI, niedrigauflösende Bilder zu erstellen. Dann wird die Auflösung schrittweise erhöht. Wir haben dies für Latte Art wiederholt:

Eine Herausforderung war unter anderem, dass die Bilder der Trainingsdaten nicht nach einem Standard gemacht wurden und die Maschine erst lernen musste, welcher Teil die Tasse ist und was der Latte Art entspricht. Und dazu brauchte sie mehr Zeit.

Was fehlt zur perfekten Milch-Kunst?

Die ausgezeichneten Resultate von Nvidia für Promis konnten für Latte Art nicht wiederholt werden. Während Nvidia auf nahezu unlimitierte Rechenressourcen zurückgreifen kann, wurde das Barista-Modell auf zwei Grafikkarten trainiert. Jedoch produzierte die Maschine einige vielversprechende Muster, welche die Kreativität anregen.

Wie man auf den Bildern erkennt, bildete die Maschine oft noch verpixelte Stellen oder es gelang ihr nicht, eine runde Tasse zu zaubern. Diese Finessen zu beheben, bräuchte Zeit, Rechenkapazität und die Nähe zur Forschung.

Weshalb das Ganze?

Mit diesem Versuch wollten wir zeigen, dass mit wenigen guten Daten und dem richtigen Team vieles möglich ist und eine Maschine durchaus in der Lage ist, «Neues» zu schaffen. Wir sind der Meinung, dass Mensch und Maschine näher zusammenfinden und sich gegenseitig ergänzen, unterstützen und inspirieren sollten.

«Wir sind der Meinung, dass Mensch und Maschine näher zusammenfinden und sich gegenseitig ergänzen, unterstützen und inspirieren sollten.»

Nicht zuletzt hat es uns riesigen Spass gemacht, zusammen an einem solchen Problem zu arbeiten, die neusten Ansätze aus der Forschung zu testen und mit Künstlicher Intelligenz zu experimentieren.

Wir suchen aktuell nach einem Industrie-Partner, welcher das Projekt mit uns weiter vorantreiben möchte. Falls jemand Interesse hat, freuen wir uns über eine Kontaktaufnahme und den Austausch bei einer Tasse Kaffee.

An diesem Projekt haben das Algorithmic Business Research Team der Hochschule Luzern sowie das Data Science Team der Jaywalker Digital AG mitgewirkt.

Publiziert: 30.10.2019