Forschung im Dialog: «Chatbots werden personalisierter und verlässlicher»

Alle Welt redet von ChatGPT. Wir fragen, was dahintersteckt. Worauf basieren derartige Assistenz-Systeme? Was werden uns Chatbots noch alles bieten? Zwei Experten erklären, woran sie an der Hochschule Luzern – Informatik forschen. Der Trend: Die Systeme werden passgenauer. Das Ziel: Sie müssen noch verlässlicher werden.

Kein Chatbot ist derzeit so gefragt wie ChatGPT. Dieses Assistenz-System unterstützt über 100 Millionen Nutzende in allen möglichen Fragen. Es ist ein KI-basierter Chatbot für die Masse. Demgegenüber steht der Trend zu immer mehr individualisierten, spezifischen, personalisierten Assistenz-Systemen. Damit befassen sich unter anderem die Forschenden des Information Systems Research Labs der Hochschule Luzern – Informatik (HSLU).

Zwei Forscher der Gruppe erklären in diesem Interview, wie diese Chatbots den Industriepartnern nützen: Alexander Denzler und Andreas Marfurt sprechen über Herausforderungen, Ziele und Leidenschaften in ihrer Forschung. Lesende erfahren, was die neuen Assistenz-Systeme den Industriepartnern und den Benutzenden bringen. Und warum Forschende gerne an vorderster Front mitwirken.

Herr Denzler, Sie erforschen und entwickeln unter anderem Systeme für Chatbots. Worauf zielt Ihr aktuelles Forschungsprojekt ab?

Alexander Denzler: Wir haben ein Tool entwickelt, das über Datenschutz-Richtlinien informiert. Es ist salopp gesagt ein «Anwalt für die Hosentasche». Dieser hilft, rechtliche Fragen zu beantworten. Daraus soll ein Chatbot in einer mobilen App zur Marktreife gelangen. Dank diesem können Interessierte zum Beispiel Fragen zu den komplizierten und viel zu langen AGBs der Firmen stellen.

Unser Projektpartner ist die Luzerner Web3-Plattform Profila. Gefördert wird das Projekt von Innosuisse, der schweizerischen Agentur für Innovationsförderung.

Was ist innovativ an Ihrer «Anwältin für die Hosentasche»?

Denzler: Unser System fragt nicht nur in einer Datenbank Wissen ab, es vermittelt auch menschliche Expertise. Wenn die Antworten der Datenbank nicht ausreichen, können die Nutzenden so auch direkt auf das Wissen von Fachpersonen zugreifen: auf Juristinnen oder Juristen, die auf Datenschutz spezialisiert sind. Es berechnet zudem, wie komplex eine Frage ist. Dementsprechend schlägt es eine Honorarspanne vor.

Wenn sich die Rechtskundigen mit den Ratsuchenden auf ein Honorar einigen, kommt es zur Beratung durch echte Menschen. Die neuen Antworten fliessen wiederum in die Datenbank ein.  

Die Stärke eines Chatbots – die spezifischen Antworten – werden so fortlaufend durch neue Beiträge von Expertinnen und Experten erweitert. Sie schliessen damit bestehende Wissenslücken in der Datenbank.

Unser Lab dient den Projektpartnern als ausgelagerte Entwicklungs- und Forschungsabteilung. 

Alexander Denzler

Ab wann kann man diesen Chatbot für Datenschutz-Fragen nutzen?

Denzler: Wir haben unser Forschungsprojekt in diesen Wochen abgeschlossen und Profila übergeben. Wir bauen eine spezifisch auf die Bedürfnisse der Kundschaft abgestimmte Lösung, liefern aber keine fixfertigen Produkte. Unser Lab dient den Projektpartnern als ausgelagerte Entwicklungs- und Forschungsabteilung. Der Partner bringt das Produkt selbst auf den Markt. Wann das sein wird, entscheidet Profila. Es ist vorgesehen, dass unser Chatbot für Rechtsfragen als App auf dem Smartphone nutzbar wird.

Worin lag die Herausforderung in diesem Forschungsprojekt?

Denzler: Im Datenabgleich. Also in der Frage, ob unsere Daten wirklich die passenden, korrekten Antworten auf konkrete, spezifische Rechtsfragen bieten. ChatGPT kann generische, allgemeingültige Fragen sehr gut beantworten. Wir hingegen haben unser Modell spezifisch trainiert: auf Gesetzesartikel, Gerichtsurteile, Datenschutzerklärungen. Dies fein abzustimmen, hat uns herausgefordert. In dieser massgeschneiderten Arbeit liegt eine unserer Stärken. In diese Richtung geht auch der Trend.

Es werden immer mehr spezialisierte Modelle entwickelt. Wir beantworten anwendungsspezifische Fragen und passen die Sprachmodelle auf die Bedürfnisse von Unternehmen an.

Andreas Marfurt

Der Markt verlangt also vermehrt nach kunden- und anwendungsspezifischen Chatbots?

Andreas Marfurt: Ja, nebst allgemeinen Sprachmodellen wie ChatGPT, Bard oder Bing werden immer mehr spezialisierte Modelle entwickelt. Wir an der Hochschule Luzern können anwendungsspezifische Fragen gut beantworten. Wir passen die Sprachmodelle auf die Bedürfnisse von Unternehmen an.

Sie verwenden den Begriff «Sprachmodelle». Reden nur Laien von «Chatbots»?

Marfurt: Ein Chatbot ist lediglich das Interface, also nur die Oberfläche, die Nutzende anwenden. Der Chatbot steht für die Art der Interaktion zwischen Mensch und Maschine. Dahinter steht ein «Large Language Model» (LLM), auf Deutsch ein «grosses Sprachmodell».

Diese Sprachmodelle sind der Kern unserer Arbeit. LLMs sind fortgeschrittene KI-Systeme. Wir trainieren sie darauf, menschliche Sprache zu verstehen, zu bewerten und selber zu generieren. Sprachmodelle sind wortwörtlich Modelle der menschlichen Sprache.

Wie geht es weiter mit diesen Sprachmodellen?

Marfurt: Der Trend geht in die Richtung, dass Nutzende nicht mehr auf einen Chatbot in einem eigenen Interface zugreifen. Vielmehr werden Sprachmodelle in Anwendungen integriert. Damit erleichtern sie die Arbeitsschritte der Nutzerinnen und Nutzer.

Das heisst: Wo immer Nutzende sich in einem Produkt gerade befinden, erhalten sie direkt LLM-basierte Unterstützung. Man muss nicht mehr in den Browser wechseln und ChatGPT eine detaillierte Beschreibung geben. Wenn man zum Beispiel E-Mails schreibt, unterstützt einen eine LLM-basierte Künstliche Intelligenz (KI) direkt im E-Mail-Programm. Nutzende von Microsoft 365 werden von einem «Copiloten» unterstützt. Diese integrierte KI-Assistenz kombiniert die Leistungsfähigkeit grosser Sprachmodelle mit den jeweiligen Unternehmensdaten. Der Copilot wird uns künftig assistieren, wenn wir mit Word, Excel, PowerPoint, Outlook oder Teams arbeiten. Ebenso integrieren auch Schweizer Firmen KI in ihre Produkte.

Wo immer wir an einem digitalen Gerät etwas tun, werden wir in naher Zukunft von Sprachmodellen unterstützt?

Marfurt: Es geht in diese Richtung. Denn wir Menschen halten unser Wissen vorwiegend in Sprache und Texten fest. Sprachmodelle werden auf Texten trainiert. Darum eignen sie sich ideal dazu, um sie in textbasierte Anwendungen zu integrieren. Ich betreue demnächst eine Bachelor-Arbeit, die wir mit einem Hersteller von Kaffee-Vollautomaten durchführen. Wir entwickeln ein Sprachmodell, das Programmierende unterstützt. Dieses wird für Code-Vorschläge auf den internen Code unseres Partners zugreifen und Funktionen verwenden, die bereits implementiert sind. Es ist personalisiert für die Aufgaben des Unternehmens.

Die Sprachmodelle werden immer anwendungsfreundlicher und mehr auf den Kontext hin zugeschnitten. In welchen Fachbereichen werden sie den Endnutzenden künftig assistieren?

Denzler: In unserem Profila-Projekt haben wir das Modell für einen bestimmten Einsatzbereich anwendungsspezifisch trainiert. Das kann man für jedes erdenkliche Fachgebiet tun: sei es für das Programmieren, für Gesundheitsfragen oder das Erstellen einer persönlichen Anlagestrategie. Banken, Versicherungen oder Tourismusanbieter nutzen Sprachmodelle gerne auch, um häufige Fragen ihrer Klientel beantworten zu lassen: Sie setzen dementsprechend Chatbots in der Kommunikation mit der Kundschaft ein. Man trifft sie auf Webseiten oder in Apps.

Wir haben einen Laufbahn-Assistenten entwickelt. Er dient der Karriereplanung und fördert die Bildung. Unser System hilft mit, den Fachkräftemangel zu entschärfen.

Alexander Denzler

Bislang waren solche Chatbots noch ziemlich beschränkt. Mit spezifischen Fragen kam man nicht weit. Darf man auf nützlichere Chatbots hoffen? Auf handfestere Antworten, die wirklich Mehrwert generieren?

Denzler: Durchaus. Wir haben beispielsweise einen Laufbahn-Assistenten entwickelt. Er dient der Karriereplanung. Damit erkennen Nutzende, welche Aus- oder Weiterbildung ihnen welche Vorteile bringt. Diese Service-Plattform haben wir im Auftrag eines Schweizer Start-ups realisiert. Wir haben eine Applikation auf der Datengrundlage von Lebensläufen entwickelt, dafür unzählige Lebensläufe verwendet und sie mit Aus- und Weiterbildungsangeboten hinterlegt. Das Ganze haben wir mit Lohndaten des Bundesamts für Statistik ergänzt.

Nutzende sehen dank diesem Laufbahn-Assistenten, auf welchem Weg sie welche beruflichen Positionen erreichen können. Sie sehen auch, was sie dann verdienen könnten. So spezifisch und konkret könnte ChatGPT ihnen nicht Auskunft geben. Dieser Laufbahn-Assistent fördert die Bildung. Unser System hilft mit, den Fachkräftemangel zu entschärfen.

Betreibt Ihr Team auch Grundlagenforschung?

Denzler: Ja, zum Beispiel im Bereich «Argument Mining». Das ist ein Forschungsbereich innerhalb des Natural Language Processing (NLP), zu Deutsch: der natürlichen Sprachverarbeitung. Es geht beim Argument Mining darum, Argumente und Standpunkte, zum Beispiel in politischen Debatten, besser zu verstehen und zu verarbeiten.

Unser Forschungsprojekt zielt darauf ab, die kognitive Fähigkeit von Computern zu verbessern. Wie bringt man Computern bei, menschliche Argumente zu analysieren und einzuordnen? Sie sollen nicht nur erkennen, was ausgesagt wird, sondern auch, wie es gesagt wird und welche logische Struktur ein Argument hat.

Wir erforschen dies im Rahmen einer Doktorarbeit ohne Industriepartner. Aber die Erkenntnisse könnten später durchaus in einem Industrieprojekt oder etwa im öffentlichen Sektor nützlich sein. Wie etwa bei der Schweizer Entscheidungshilfe für Wahlen «Smartvote».

Das heisst, die Grundlagenforschung in Ihrem Fachgebiet ist von realen Anwendungen nicht weit entfernt?

Marfurt: Ja, NLP ist sehr anwendungsbezogen. Denken wir etwa an die Forschung des US-amerikanischen Software-Entwicklers OpenAI, der bekanntlich ChatGPT entwickelt hat. OpenAI war zunächst ein reines Nonprofit-Forschungsinstitut. Es konnte seine Forschung an Sprachmodellen fast 1:1 in ein kommerzielles System übertragen. Man brauchte nur noch ein kleines Zusatztraining, um dem Modell Konversationen beizubringen. Dazu noch ein Interface, damit Nutzende mit ihm interagieren können – und fertig war der Chatbot namens ChatGPT. Die Grundlagenforschung wurde direkt zu einem Produkt entwickelt.

Ich bin gerne an vorderster Front dabei. Ich beschäftige mich mit der Kontrollierbarkeit und Robustheit von Sprachmodellen: Wie bringt man sie dazu, verlässliche, abschätzbare Antworten zu geben?

Andreas Marfurt

Was lieben Sie als Forscher an Ihrer Tätigkeit? Worauf legen Sie Wert?

Marfurt: Mich interessieren die anwendungsspezifischen Fragen. Ich bin gerne an vorderster Front dabei. Ich beschäftige mich mit der Kontrollierbarkeit und Robustheit von Sprachmodellen: Wie bringt man sie dazu, verlässliche, abschätzbare Antworten zu geben? Daher untersuche ich etwa auch, wie man Halluzinationen verhindern kann. Diese Fragen sind wichtig für unsere Industriepartner. Sie zu erforschen, finde ich spannend. Dabei schätze ich die Gestaltungsfreiheit an der HSLU.

Ich engagiere mich auch in der «Swiss AI»-​Initiative. Sie will die Schweiz als weltweit führenden Standort einer transparenten und vertrauenswürdigen Künstlichen Intelligenz positionieren. Die Swiss AI-Initiative ist derzeit etwas vom Spannendsten, das sich im KI-Bereich in der Schweiz entwickelt.

Meine Arbeit soll einen Mehrwert generieren. Wir entwickeln keine Konzepte für die Schublade. Das gefällt mir.

Alexander Denzler

Denzler: Als Wirtschaftsinformatiker ist mir der ökonomische Aspekt meiner Arbeit wichtig: Meine Arbeit soll einen Mehrwert generieren. Es gefällt mir, dass wir keine Konzepte für die Schublade entwickeln. Wir können unsere Forschung konkret umsetzen. Darum schätze ich die Zusammenarbeit mit unseren Industriepartnern. Sie nutzen unsere Forschungsergebnisse wirklich und machen unsere Forschung in ihren Produkten zugänglich.

Veröffentlicht: 7. Mai 2024
Von Gabriela Bonin