Data Engineering und Robotic Process Automation (RPA) sind ergänzende Felder, welche unterschiedliche Geschäftsprozesse automatisieren können. Neue Tools im Bereich Chatbots erweitern die Anwendungsmöglichkeiten und erleichtern die Erstellung von Bot-basierten Geschäftslösungen.

ChatGPT, Llama, Claude 2, Bard, Gemini und weitere Neuigkeiten

ChatBots, im Grunde genommen dialogorientierte künstliche Intelligenzsysteme, haben die Art und Weise, wie Unternehmen mit ihren Kund:innen interagieren, nachhaltig verändert. Sie sind 24/7 verfügbar, können personalisierte Interaktionen bieten und gleichzeitig routinemässige Aufgaben automatisieren. Von Kundenservice bis zu Marketing und Vertrieb – ChatBots sind mittlerweile in vielen Bereichen anwendbar. War im letzten Jahr ChatGPT von OpenAI in aller Munde, so gibt es nun Konkurrenz insbesondere von Google mit Bard und Claude 2 von Anthropic, sowie Llama von Meta, welche direkte Konkurrenten von ChatGPT darstellen mit unterschiedlichen Ausprägungen, was sie können. All diesen Modellen liegen unterschiedliche sogenannte LLM’s (Large Language Models) zugrunde.

Neue „Orchestrierungstools“ im Bereich ChatBots

Aktuell werden neue Tools populär, die den „Orchestrator-Ansatz“ aus klassischen ETL/ELT-Tools erweitern, ähnlich wie das Apache HOP oder Apache Airflow im Bereich des Data Engineerings tun. Dieser Ansatz wird nun auch bei der Entwicklung von Chatbots angewendet.

Ein Beispiel für ein solches Tool ist LangChain. Es ermöglicht die Integration und Verwaltung verschiedener Datenquellen und Werkzeuge, die für die Erstellung eines Chatbots benötigt werden. Es visualisiert und organisiert komplexe Datenflüsse und ermöglicht automatisches Einlesen von Daten in verschiedenen Formaten. Diese Daten können anschliessend mittels NLP weiterverarbeitet und in Vektordatenbanken eingefüllt werden, um in einer konsistenten und übergeordneten Weise verwendet zu werden. So kann eine integrierte, automatisierte Applikation gebaut werden. Unten ist ein Beispiel von Botpress, das den Canvas sowie rechts den Bereich der Parametrisierung der einzelnen Elemente eines Chatverlaufs zeigt:

Integration eigener Datenquellen in die Chatbots erweitern deren Möglichkeiten

Durch die Integration externer Daten erhalten Chatbots die Möglichkeit, neue Aufgaben zu übernehmen und Informationen aus dem Internet zu ergänzen. Man spricht in diesem Fall von sogenannten Retrieval-Augmented Generation (RAG). Konkrete Daten von Webseiten, PDFs und anderen Dokumenten können automatisch in vektorbasierte Datenbanken eingelesen werden um die Antworten mit speziellen kundenbasierte Daten zu ergänzen. Dadurch entstehen firmeninterne Applikationen die auf die spezifischen Bedürfnisse des Unternehmens zugeschnitten ist und ausserdem reduziert ein RAG im Gegensatz zum LLM das „Halluzinieren“, das heisst das Erfinden von unwahren Antworten, was heute bei LLMs in den Antworten vorkommt.

Das Befüllen eigener Daten in die Chatbots ist somit ein wichtiger Faktor, den Anwendungsbereich von ChatBots zu erweitern.

No Coding und vereinfachte Erstellung von Applikationen als Trend

Zusätzlich zur Entwicklung neuer LLMs, RAGs und Orchestrierungs-Tools gibt es einen wachsenden Einsatz von visuellen Tools wie Flowise oder LangFlow. Mit diesen Tools, die auf einem visuellen „Miro-Board“-ähnlichen «Canvas» mit parametrisierbaren Bausteinen arbeiten, ist es möglich, Applikationen ohne Programmierung zu erstellen.

Diese Tools, wie zum Beispiel Flowise, werden ständig um neue Funktionen erweitert, was die Integration von immer neuen bestehenden LLMs oder anderen Softwarelösungen wie z.B. Browserless oder Airtable ermöglicht. Dadurch nehmen die Funktionalitäten dieser Tools beträchtlich zu und erweitern damit ihre Anwendungsmöglichkeiten.

Ähnlich in der Funktionalität, teilweise besser und vor allem einfacher in der Nutzung

Im Bereich der ChatBot-Tools gibt es äusserst spannende neue Entwicklungen. Ein Beispiel dafür ist Botpress. Ein Tool, mit dem auch komplexere und anspruchsvollere Chatbots ohne die Notwendigkeit von Codierung relativ einfach erstellt werden können. Im Vergleich zu älteren Tools wie beispielsweise RASA erfordert Botpress viel weniger spezifisches Fachwissen in der Anwendung und reduziert die Entwicklungszeit erheblich.

Ein bemerkenswerter Vorteil bei der Erstellung, beispielsweise mit Botpress, besteht darin, dass selbst logische Ausdrücke in natürlicher Sprache formuliert werden können, die dann automatisch in Code übersetzt werden. Dadurch wird der Erstellungsprozess noch zugänglicher und benutzerfreundlicher.

Integration als weitere interessante Entwicklung

Bot-Lösungen lassen sich über klassische API-Schnittstellen miteinander verbinden. Es ist beispielsweise möglich, einen Bot über WhatsApp abzufragen sowie deren Antworten ebenfalls wieder auf WhatsApp zu erhalten. Integrationen mit MS-Teams, Gmail, Webchat, Slack, Instagram, Telegram und einige mehr sind bereits heute verfügbar. Es sind weitere Integrationen möglich wie beispielsweise mit dem Tool „Zapier“ oder „make“ oder „n8n“ welche Tools zur Automatisierung von Workflows und zur Verknüpfung von Webanwendungen sind, was die Integration von LLM’s erweitert.

Auch diese Entwicklung vergrössert die Anwendungsbereiche, welche unter anderem in Richtung „Robotic Process Automation“ gehen, obwohl letztere Tools zurzeit noch eine grössere Funktionstiefe aufweisen, wenn ganze Geschäftsprozesse durch Software-Roboter automatisiert werden. In der Abbildung oben ist eine Architektur dargestellt, welche eine solche integrierte Applikation zeigt.

Funktionen und Entwicklungen

Die Abbildung unten zeigt die aktuellen Möglichkeiten generativer AI auf. Aktuell, weil die Entwicklung sehr schnell voranschreitet und in einem halben Jahr ganz neue Möglichkeiten vorliegen können und dieser Blogbeitrag andere Inhalte haben könnte.

Entwicklungen am IKM

Am IKM gibt es zurzeit Projekte in diesem Umfeld, welche von InnoSuisse unterstützt werden. Für ein Startup wird beispielsweise mittels einer neuen vektorbasierten Datenbank die Qualität der Antworten der Applikation wesentlich erhöht. Ebenso konnte eine neue, sehr dynamische Web-Scraping Technologie mit GPT4 „Visual“ getestet werden, welche den statischen Charekter von herkömmlichen Ansätzen überwindet und mittels visueller Analyse alle Vorteile generativer KI nutzt. In einem anderen Projekt konnte mit einem Prototypen ein „Gesprächs-Trigger“ eingebaut werden sodass es möglich ist, einen Dialog seitens des Bots mit jemandem über Messenger Kanäle aufzunehmen.

In einem weiteren Projekt im Energie-Umfeld wird ein FAQ-Chatbot mit Graphiken und multimedia-Inhalten ergänzt, um eine neue Customer Journey zu erhalten und Kunden von neuen Lokalen Energiegemeinschaften so umfassend über komplexe Themen informieren zu können.