Heute kocht der Kühlschrank

Was geschieht, wenn künstliche neuronale Netze unseren Kühlschrank durchforsten und Rezepte vorschlagen? Die Informatik-Absolventen Marc Bravin und Marvin Walker haben eine App entwickelt, die so das Kochen erleichtern soll.

Beim Blick in den Kühlschrank ist es manchmal echt anstrengend, sich auszudenken, was man kochen könnte. Die Idee der «Deep Neural Fridge Analyzer App» klingt daher verlockend: Smartphone zücken, Kühlschrank-Inhalt knipsen und schon serviert die App passende Rezepte.

Marc Bravin und Marvin Walker haben die Applikation im Rahmen ihrer Bachelorarbeit entwickelt. «Die Deep Learning Technologie und die Nützlichkeit der Idee haben uns begeistert», erklären sie ihre Motivation.

Deep Learning, die Machine-Learning-Technik, mit der Computer aus Beispielen lernen, funktioniert mit künstlichen neuronalen Netzen. Diese trainieren sich quasi selbst, indem sie etwa das Bild eines Broccoli, immer wieder mit den Fotografien aus einem Datenset vergleichen. Für diesen Prozess haben sie einen Rechner sechs Tage und Nächte lang arbeiten lassen und das Netz so auf 69 Lebensmittel-Kategorien wie Bier, Quark oder Broccoli trainiert. Woran «erkennt» das neuronale Netz die Produkte? «Die Form, die Struktur, aber auch der Schriftzug können Merkmale sein», erklärt Walker.

Das Wichtigste bei jedem Machine-Learning Projekt ist ein quantitativ und qualitativ gutes Datenset. Und so war die grösste Sorge der Absovlenten, genügend Kühlschrankfotos zu organisiseren. Mit Hilfe von Freunden und Verwandten haben sie schliesslich 545 Bilder gesammelt, die 7’355 Lebensmittel enthalten. Mit 80 Prozent der Fotos haben sie das Netz trainiert, mit den restlichen 20 Prozent getestet.

«Trotz des vergleichsweise kleinen Datensets erkennt die App jedes zweite Lebensmittel mit einer Genauigkeit von 54 Prozent», sagt Bravin zufrieden. Um ein besseres Ergebnis zu erhalten, bräuchte es mindestens das zehnfache an Daten – Damit wäre die Software jedoch nur auf Schweizer Lebensmittel trainiert.

Auch die Kategorien müssten verfeinern werden. «Für Fleisch haben wir nur eine Kategorie, weil das neuronale Netz die Sorte noch nicht identifizieren kann», sagt Walker. Und so schlägt die App auch mal Hasenragout vor, obwohl nur Poulet im Kühlschrank liegt. Ein Rezept nachgekocht haben sie übrigens noch nie. «Es ist noch eine Spielerei», sagen beide, welche sich selbst eher als Kochmuffel bezeichnen.

An weiteren Ideen mangelt es jedoch nicht: «Der Alltag einer sehbehinderten Person könnte durch die App erleichter werden», sagt Walker. Durch eine Sprachausgabe könnte die App aufzählen, was sich im Kühlschrank befindet. Oder sie könnte die Person beim Einkauf unterstützen, indem sie den Inhalt der Regale «erkennt».

Ob sie das Projekt weiterfolgen? «Wenn sich ein Wirtschaftspartner, wie etwa ein Kühlschrankhersteller oder ein  Unternehmen aus dem Bereich Smart Kitchen findet, ja», sagen Marc Bravin und Marvin Walker. Beide starten im Herbst mit dem Master in Data Sciene. Marc Bravin wird das Projekt vielleicht auch im Rahmen seiner Assistenzarbeit beim Algorithmic Business Research Team ABIZ, welches die Idee für diese Bachelorarbeit hatte, vorantreiben können.

Noch mehr Deep Learning Projekte? Lesen Sie den Artikel zu Informatik-Absolvent Daniel Pfäffli. Er hat einem Computerprogramm das Jodeln «beigebracht»: Sing, Maschine, sing!