Artificial Intelligence,

Gesellschaft & Ethik,

Weiterbildung

Kleiner denken: Warum spezialisierte Sprachmodelle KI nachhaltiger machen können

Immer grössere KI-Modelle brauchen immer mehr Daten, Rechenleistung und Energie. Kleine Sprachmodelle gehen den umgekehrten Weg: Sie sind auf eng definierte Aufgaben spezialisiert und erledigen diese präzise – oft so gut wie grosse Modelle, manchmal sogar besser. Dabei verbrauchen sie weniger Energie, sind günstiger und lassen sich auf eigenen Servern betreiben, sodass Daten nicht an externe Anbieter gehen. Und sie könnten KI vielfältiger und für mehr Menschen zugänglich machen.

Kleiner denken: Warum spezialisierte Sprachmodelle KI nachhaltiger machen können
Nicht immer ist grösser auch besser: Während grosse KI-Modelle möglichst viele Aufgaben abdecken, können kleine, spezialisierte Sprachmodelle gezielter, effizienter und ressourcenschonender arbeiten.

Die ersten Computer füllten ganze Räume. Sie waren teuer, brauchten viel Strom und standen nur wenigen Institutionen zur Verfügung. Heute tragen wir ein Vielfaches ihrer Rechenleistung in der Hosentasche.

Bei der künstlichen Intelligenz (KI) lief es bisher umgekehrt. Grosse Sprachmodelle (Large Language Models, LLMs), wie sie hinter ChatGPT und Co. stehen, wachsen mit jeder Generation. Daneben gibt es aber einen Gegentrend: kleine Sprachmodelle (Small Language Models, SLMs). Steht der KI also dieselbe Entwicklung bevor wie dem Computer?

Was bringen kleine Sprachmodelle für Umwelt, Gesellschaft und Organisationen? Einblick geben Luca Massaron, KI-Experte, Buchautor und Gastdozent an der HSLU, und Aygul Zagidullina vom Applied AI Center der HSLU. Dazu blicken wir auf die Thesen der Stanford-Forscherin Yejin Choi.

Was ist ein kleines Sprachmodell?

Ein kleines Sprachmodell ist eine KI, die Sprache versteht und erzeugt, aber deutlich kleiner ist als die bekannten Chatbots. Viele laufen auf einem Laptop oder einer einzelnen Grafikkarte. Statt alles ein bisschen zu können, wird ein kleines Modell für eine Aufgabe trainiert. Diese erledigt es dann präzise.

Ein Beispiel: Ein kleines Modell liest Support-Anfragen und ordnet sie dem richtigen Team zu. Dafür braucht es kein Wissen über Kochrezepte oder Weltgeschichte. 

Luca Massaron sagt: «Wenn sie mit sorgfältig ausgewählten Daten trainiert werden, können kleinere Modelle oft ähnlich gut abschneiden wie viel grössere. Bei klar umrissenen Aufgaben sind sie manchmal sogar besser.»

Der Schlüssel heisst Fine-Tuning: Ein bestehendes Modell wird mit eigenen Daten weitertrainiert, bis es eine bestimmte Aufgabe zuverlässig löst. Massaron begann damit Anfang 2023, kurz nachdem Meta das erste Llama-Modell veröffentlicht hatte. Es war eines der ersten leistungsstarken Sprachmodelle, das Forschende herunterladen und selbst anpassen konnten. «Damals wirkte es wie ein Nischenhobby, ein Modell auf einer einzigen Grafikkarte für eine Aufgabe anzupassen», erinnert er sich. Heute ist es eine gefragte Fähigkeit in der angewandten KI.

Luca Massaron

Luca Massaron ist KI-Experte und Autor von über 15 Fachbüchern, darunter «AI For Dummies». Er arbeitet bei Klarna in Mailand und unterrichtet als Gastdozent im CAS LLMs and AI Agents der HSLU.

Ökologisch: weniger Rechenleistung, weniger Energie

Jede Anfrage an ein Sprachmodell braucht Rechenleistung und damit Strom. Je grösser das Modell, desto mehr. Ein kleines Modell, das nur eine Aufgabe erledigt, kommt mit einem Bruchteil davon aus.

Das zeigt sich besonders bei KI-Agenten. Sie erledigen oft dieselben, eng begrenzten Aufgaben immer wieder. Forschende von NVIDIA Research, dem US-Hersteller jener Chips, auf denen ein Grossteil der KI-Rechenzentren läuft, argumentieren deshalb in einem Positionspapier: Für viele dieser Aufgaben sind kleine Modelle leistungsfähig genug, besser geeignet und deutlich wirtschaftlicher. Sie empfehlen Organisationen, kleine Modelle einzusetzen, um Energieverbrauch und Infrastrukturkosten zu senken.

Ein Vorbehalt gehört dazu: Wird KI günstiger und effizienter, nutzen wir sie vielleicht einfach häufiger. Dann kann der Gesamtverbrauch trotzdem steigen. Fachleute nennen das Rebound-Effekt. Kleine Modelle sind also kein Freipass, aber ein Baustein für eine sparsamere KI.

Sozial: Vielfalt statt Einheitsbrei

Auch international gibt es Stimmen für kleinere Modelle. Eine davon ist Yejin Choi, Professorin am Stanford Institute for Human-Centered Artificial Intelligence (HAI). In einem Video des World Economic Forum (WEF) beschreibt sie ein Problem grosser Sprachmodelle, das über Energie hinausgeht: Sie sind stark von der englischen Sprache und von wenigen Kulturen geprägt. Andere Perspektiven gehen dabei unter, und ganze Gemeinschaften profitieren kaum vom Fortschritt.

Chois Antwort: kleiner denken statt grösser. Kleine, spezialisierte Modelle brauchen weniger Energie und Rechenleistung. Und sie machen es einfacher, dass viele mitentwickeln und teilen können.

Choi vergleicht das mit Restaurants: «Es gibt teurere und erschwinglichere Restaurants, und wir wählen, was für uns sinnvoll ist. Ähnlich stelle ich mir Sprachmodelle vor.» Manchmal brauche es ein grosses Modell. Für viele Aufgaben reiche aber ein kleines, das einen Zweck wirklich gut erfülle. Ihr Ziel: «Ich hoffe, dass KI uns hilft, unsere Individualität zu bewahren, statt uns zu homogenisieren.»

Für Choi geht es letztlich um eine Machtfrage: «KI-Fähigkeiten sollen wirklich den Menschen gehören – und nicht nur einigen wenigen Ländern und Technologieunternehmen.»

Ökonomisch: eigene Daten, eigene Kontrolle

Auch für Organisationen lohnt sich der Blick aufs Kleine. Luca Massaron nennt vier Vorteile:

  • Tiefere Kosten: Kleine Modelle brauchen weniger Rechenleistung.
  • Einfacherer Betrieb: Sie lassen sich leichter installieren und selbst betreiben.
  • Mehr Kontrolle: Daten und geistiges Eigentum bleiben im Haus.
  • Passgenauigkeit: Ein Modell lässt sich auf die eigenen Abläufe und Fachbegriffe trainieren.

«Statt das Geschäft an ein allgemeines Standardsystem anzupassen, passt man das Modell an das Geschäft an», sagt Massaron. Damit verändert sich die Leitfrage in KI-Projekten. Sie lautet nicht mehr: «Welches Spitzenmodell nutzen wir?» Sondern: «Welche Daten und welches Modell brauchen wir wirklich?»

Kleine Modelle sind auch Bausteine für KI-Agenten. Statt eines Allzweckmodells, das alles erledigt, verteilt ein koordinierendes System die Arbeit auf mehrere Spezialisten. Ein Beispiel: Ein Modell formuliert Datenbankabfragen, ein zweites liest Informationen heraus, ein drittes prüft die Ergebnisse. Zusammen machen sie es möglich, eine Datenbank in normaler Sprache abzufragen. «Ziel ist, dass jede Aufgabe zuverlässig gelingt, nicht möglichst viel Allgemeinwissen», so Massaron.

Für Aygul Zagidullina vom Applied-AI Center der HSLU geht es dabei um mehr als Effizienz: «Ich sehe in kleinen Sprachmodellen eine gute Lösung für mehrere Probleme, weltweit und besonders in der Schweiz: Datenschutz, Souveränität und natürlich Nachhaltigkeit.» 

Ich sehe in kleinen Sprachmodellen eine gute Lösung für mehrere Probleme, weltweit und besonders in der Schweiz: Datenschutz, Souveränität und natürlich Nachhaltigkeit.

Aygul Zagidullina, Applied AI Center

An der HSLU: selbst ein Modell trainieren

Wie man ein kleines Modell zum Spezialisten macht, lernen Fachpersonen an der HSLU im CAS LLMs and AI Agents und in der kürzeren Version, dem SAS LLMs and AI Agents. Aygul Zagidullina leitet das CAS gemeinsam mit Dimitris Mousadakos. Luca Massaron unterrichtet dort als Gastdozent und war bereits mehrmals im SAS dabei.

Aygul Zagidullina

Aygul Zagidullina ist Co-Gründerin des Applied AI Center der HSLU – Informatik und Co-Leiterin des CAS LLMs and AI Agents. Sie lehrt und forscht zu Data Science, Machine Learning und KI.

«Kleine Sprachmodelle sind mir sehr wichtig, und ich möchte, dass mehr Menschen sie kennen», sagt Zagidullina. Deshalb sind sie in beiden Programmen fester Bestandteil. Die Teilnehmenden nehmen ein offenes Modell und trainieren es für eine konkrete Aufgabe: etwa um Support-Anfragen einzuordnen, Informationen aus Dokumenten herauszulesen oder als Assistenz in einem Fachgebiet.

Dafür nutzen sie ressourcenschonende Verfahren wie LoRA und QLoRA. Am Ende steht ein funktionierendes Modell, das sie selbst trainiert haben. 

Luca Massaron gibt allen, die beruflich mit KI arbeiten, drei Empfehlungen mit:

  1. Früh experimentieren: Kleine Modelle so bald wie möglich ausprobieren.
  2. Auf Datenqualität setzen: Gute Daten zählen mehr als Modellgrösse oder das neuste Modell.
  3. Fine-Tuning ernst nehmen: Es ist eine zentrale Ingenieursdisziplin, keine Nischentechnik.

Sein Wissen hat Massaron auch in ein Fachbuch gepackt: «Fine-Tuning Large and Small Language Models» erscheint bei Wiley. Aygul Zagidullina hat es als Technical Editorin begleitet.

Das Buch zum Thema

Luca Massaron: «Fine-Tuning Large and Small Language Models» Wiley, Reihe «Tech Today», 1. Auflage, ca. 400 Seiten, ISBN 978-1-394-43097-0. Erscheint laut Verlag im März 2027. Luca Massaron ist Gastdozent im CAS und SAS LLMs and AI Agents der HSLU.

Technical Editing: Aygul Zagidullina, Applied AI Center, HSLU Informatik. Zum Buch beim Verlag
Fachbegriffe kurz erklärt: Small Language Model, Open-Weight-Modell, Fine-Tuning, LoRA / QLoRA
  • Small Language Model (SLM): Sprachmodell mit vergleichsweise wenigen Parametern. Läuft oft auf einem Laptop oder einer einzelnen Grafikkarte.
  • Open-Weight-Modell: Modell, dessen trainierte Gewichte öffentlich verfügbar sind. Man kann es herunterladen, anpassen und selbst betreiben.
  • Fine-Tuning: Ein bestehendes Modell wird mit eigenen Daten weitertrainiert, damit es eine bestimmte Aufgabe besser löst.
  • LoRA / QLoRA: Verfahren, die nur einen kleinen Teil des Modells anpassen. Das spart Rechenleistung und Speicher.

Weiterbildung: CAS und SAS LLMs and AI Agents

In den Bootcamps CAS LLMs and AI Agents und SAS LLMs and AI Agents lernen Fachpersonen, grosse und kleine Sprachmodelle sowie KI-Agenten in der Praxis einzusetzen und für eigene Aufgaben anzupassen.

Lernen und forschen an der Hochschule Luzern – Informatik: Hier findest du Informationen über die Weiterbildungsbereiche in Applied Data Intelligence, die Aygul Zagidullina mitverantwortet. Die Hochschule Luzern – Informatik bietet Bachelor- und Master-Studiengänge, anwendungsorientierte Forschung sowie Weiterbildungsangebote auf einem Campus.

Besuche unsere Online-Info-Veranstaltungen

Gefällt dir unser Blog? Hier erhältst du Tipps und liest über Trends aus der Welt der Informatik. Wir bieten Einsichten in unser Departement und Porträts von IT-Vordenkerinnen, Visionären und spannenden Menschen. Jetzt Informatik-Blog abonnieren!

Aktuelles aus unserem Departement auf LinkedIn. Jetzt folgen!

Redaktionelle Verantwortung: Yasmin Billeter
Veröffentlicht am: 17. November 2026

Kommentare

0 Kommentare

Kommentar verfassen

Danke für Ihren Kommentar, wir prüfen dies gerne.