Wie gut funktioniert Amelia? Fakten zum internen Chatbot der Credit Suisse

Von Prof. Dr. Andreas Dietrich

Seit Dezember 2017 übernimmt bei der Credit Suisse der Chatbot Amelia an der internen Beschwerde-Anlaufstelle, dem Global IT Service Desk, verschiedene Aufgaben. Im nachfolgenden Blog zeige ich auf, wie gut Amelia bislang funktioniert, wie viele Fälle sie direkt lösen kann und welche Ziele die Credit Suisse mit Amelia zukünftig verfolgt.

Wer ist Amelia?

Amelia ist ein Chatbot, der am internen IT Service Desk der Credit Suisse eingesetzt wird. Amelia konzentriert sich derzeit auf alltägliche und eher einfache Probleme wie beispielsweise die Behebung von Störungen beim Senden/Empfangen von E-Mails, das Zurücksetzen von Passwörtern oder den Neustart nach Computerabstürzen. Probleme dieser Art stellen beim internen Helpdesk fast die Hälfte aller Support-Anfragen dar. Mittelfristig soll Amelia auch in der Lage sein, kompliziertere Aufgaben zu lösen und neben Englisch weitere Sprachen zu beherrschen.
Der Vorteil von Amelia ist ihre Skalierbarkeit: Für den Nutzer fallen keine Wartezeiten an, sie benötigt im Gegensatz zum Personal keine Pausen und ist somit rund um die Uhr einsatzfähig. Vor allem während Zeiten von IT-Problemen sind lange Wartezeiten ineffizient und ärgerlich – sowohl für die um Hilfe suchenden CS-Angestellten als auch für die Service-Leute. Durch den Einsatz von Chatbots sollen zudem langfristig Kosten eingespart werden und Antwortzeiten verkürzt werden. Gleichzeitig können tendenziell unattraktive Aufgaben von einem Roboter übernommen werden.
Für die Programmierung von Amelia wurden verschiedene Fachleute wie Datenwissenschaftler, Linguisten, Applikationsentwickler, Geschäftsprozess-Analysten oder auch Mitarbeitende, die viel Zeit im Kundenservice verbracht haben, beigezogen. Speziell herausfordernd bei der Programmierung von Chatbots ist es jeweils, die unterschiedlichen Sprache der Mitarbeitenden zu verstehen (Filiale vs. Geschäftsstelle; Lift vs. Aufzug, etc.). Weiter muss(te) Amelia darauf trainiert werden, ein Problem zu diagnostizieren und zu entscheiden, ob es sich um etwas handelt, das sie selber beheben kann, oder ob sie den Fall einem menschlichen Kollegen oder einer Kollegin übergeben soll.

Video: Amelia stellt sich vor

So gut funktioniert Amelia bislang

Die Credit Suisse hat mir verschiedene Statistiken von Amelia zur Verfügung gestellt. Nachfolgend möchte ich einige interessante Fakten vorstellen.

• Relevanz: In den letzten beiden Monaten (Juni und Juli) hat der Global Service Desk 44‘000 Anfragen beantwortet. Davon sind 6‘500, beziehungsweise 15 Prozent, über den Chat-Kanal zu Amelia gelangt.
• Verständnis: Amelia ging nach einer nur rund 5-monatiger Entwicklungsphase im Dezember 2017 als noch nicht ganz ausgereiftes Produkt live. Das hat sich unter anderem dadurch bemerkbar gemacht, indem am Anfang nur 23 Prozent der Anfragen tatsächlich verstanden wurden. Insbesondere derjenige Fakt, dass die weltweit tätigen Mitarbeitenden der Credit Suisse für das gleiche Problem unterschiedliche Wörter verwenden, hat zu diesem anfänglich eher tiefen Wert geführt. Amelia hat aber – sowohl durch aktives Training als auch Machine Learning – schnell gelernt. So konnte der Bot per Ende Juli 2018 bereits 85 Prozent aller Anfragen «verstehen». Oder mit anderen Worten: Bei vier von fünf Anfragen versteht Amelia, um welches Problem es sich eigentlich handelt. Diese Quote ist absolut zentral, da Amelia die entsprechenden Anfragen nur bei einem guten Verständnis direkt an die jeweils hierfür zuständigen Personen weiterleiten kann (sofern sie es nicht selber lösen kann).
• Erfolgsquote End-to-End: Im Juli konnte Amelia rund 13 Prozent «end-to-end», d.h. ohne Involvierung von Mitarbeitenden, vollkommen automatisiert lösen. Dies ist insgesamt zwar eine eher tiefe Quote und zeigt, dass der IT-Support von Menschen noch immer zwingend nötig ist. Gleichzeitig ist dies aber eine ziemlich gute Zahl für die eher kurze Einsatzdauer von sieben Monaten. Das Ziel ist es gemäss Jennifer Hewit, Projektverantwortliche für den Einsatz von Amelia bei der Credit Suisse, diesen Wert im nächsten Jahr auf 40 Prozent zu erhöhen.
• Effizienz: Im Februar, als eine wichtige CS-interne Applikation für eine kurze Zeitperiode nicht verfügbar war, konnte Amelia gemäss CS-Informationen an einem einzigen Arbeitstag eine Arbeitslast von 13 Mitarbeitenden abdecken.

Ausblick

Derzeit gelangen rund 90 Prozent der Anfragen telefonisch zum Global Service Desk der Credit Suisse. Aus Kostengründen ist es ein Ziel der Bank, dank Amelia einen Paradigmen-Wechsel zu erreichen und viele Probleme künftig via Chatbot automatisiert lösen zu können. Gemäss Hewit werden langfristig möglicherweise nur noch 20 Prozent des Supports via Telefon erfolgen. 10 Prozent der Anfragen soll über den Selbst-Service Bereich gelöst werden, etwa die Installation von Apps oder die Bestellung einer Software. Demnach sollen künftig 70 Prozent der Anfragen durch einen Chatbot gelöst werden können. Die Credit Suisse plant daher in einem nächsten Schritt, mehr Anfragen direkt zu Amelia zu leiten. So beabsichtigt die Bank, dass für Mitarbeitende, die nicht an der Front arbeiten, künftig nicht mehr das Telefon oder das E-Mail der erste Kontakt zum IT Help Desk sein soll, sondern Amelia. Ziel ist, dass durch den zunehmenden Problemlösungs-Erfolg von Amelia einerseits die Zufriedenheit bei den CS Mitarbeitenden steigt und andererseits die Prozesseffizienz gesteigert werden kann, indem die Mitarbeiter künftig als erstes auf den Bot zurückgreifen.

Fazit

Ich halte den Chatbot Amelia für ein sehr interessantes Projekt. Der Einsatz und die Automatisierung des internen IT-Supports scheint mir ein sinnvoller Use Case zu sein. Wie oben ersichtlich, stehen die entsprechenden Entwicklungen zwar noch eher am Anfang. Die bisherigen Erfolge sind aber durchaus beachtlich. Bemerkenswert ist insbesondere die steile Lernkurve von Amelia. Ebenso gilt es anzumerken, dass es nur durch Training und dem «real-life» Einsatz möglich ist, die Chatbots in kurzer Zeit zu verbessern. Wie ich schon einmal auf diesem Blog geschrieben habe, bietet die Credit Suisse seit Kurzem auch einen Chatbot im Bereich des Kundensupports auf ihrer Webseite an. Im Bereich Chatbot scheint die Credit Suisse unter den Schweizer Banken entsprechend führend zu sein. Auf die weiteren Entwicklungen – sowohl bei der Credit Suisse als auch bei anderen Banken – darf man sicherlich gespannt sein.