Sprachmodell: was es kann und was nicht, erklärt für den Bau

Ein Sprachmodell liest, ordnet und formuliert Text gut. Verlässlich rechnen kann es nicht, und es kann Fakten erfinden. Auch bei Plänen sollten Sie vorsichtig sein. Der Grund liegt in der Funktionsweise: Das Modell berechnet, welches Wort wahrscheinlich als nächstes kommt, und schlägt ohne angebundene Quelle nichts nach. Daraus folgt eine klare Aufgabenteilung. Die KI bereitet Text vor, ein festes Programm rechnet, und Sie prüfen und entscheiden.

Was ein Sprachmodell tatsächlich tut

Das BSI beschreibt es so: Große Sprachmodelle erzeugen Texte auf Basis stochastischer Korrelationen, die sie im Training gelernt haben. Sie nutzen Wahrscheinlichkeitsverteilungen, um vorherzusagen, welches Zeichen, Wort oder welche Wortfolge in einem gegebenen Kontext als nächstes auftreten könnte. Die Ausgaben haben nach dem BSI typischerweise eine hohe sprachliche Qualität und sind oft nicht ohne Weiteres von menschengeschriebenen Texten zu unterscheiden. Die Veröffentlichung trägt das Datum Januar 2025 (Version 2.0); auf der Seite des BSI war das im November 2026 noch die aktuelle Fassung.

Ein Satz kann flüssig, höflich und fachlich klingen und trotzdem falsch sein. An der Sprache erkennen Sie nicht, ob eine Fundstelle dahintersteht oder nur ein plausibles Muster.

Manche Anwendungen verbinden ein Sprachmodell mit externen Quellen und Programmen. Das BSI beschreibt diese Erweiterung des Funktionsumfangs und weist auf ihre Risiken hin. Der Inhalt kommt dann aus der Quelle oder dem Programm, und das Modell formuliert nur. Die Aufgabenteilung dieses Beitrags ändert das nicht, denn auch dort müssen Sie wissen, woher eine Zahl oder eine Fundstelle stammt.

1. Ihre UnterlagenVerträge, Protokolle, Mails, Listen
2. Festes ProgrammRechnen, Vergleichen, Regeln prüfen
3. SprachmodellLesen, Ordnen, Entwurf formulieren
4. MenschPrüfen, Entscheiden, Verantworten

Textfassung der Grafik

• Ebene 1 von unten: Ihre Unterlagen, Verträge, Protokolle, Mails, Listen
• Ebene 2 von unten: Festes Programm, Rechnen, Vergleichen, Regeln prüfen
• Ebene 3 von unten: Sprachmodell, Lesen, Ordnen, Entwurf formulieren
• Ebene 4 von unten: Mensch, Prüfen, Entscheiden, Verantworten

Was gut geht: Text verstehen und vorbereiten

Das BSI führt unter den Chancen großer Sprachmodelle unter anderem das Verfassen formaler Dokumente, die Rechtschreib- und Grammatikprüfung, die Klassifikation von Texten, das Herausziehen von Namen und Angaben (Entitätenextraktion) sowie das Zusammenfassen und Übersetzen auf. Für den Bauablauf heißt das:

• Aus Stichworten einer Besprechung einen Protokollentwurf formulieren.
• Aus einem langen Schriftwechsel die Punkte zu einem Thema herausziehen.
• Einen Nachtragstext in Abschnitte gliedern und die Kernaussagen nennen.
• Ein Anschreiben im gewünschten Ton entwerfen.

In allen vier Fällen sind Ihre Unterlagen die Grundlage, und das Modell bearbeitet sie sprachlich. Das Ergebnis ist ein Entwurf. Die Freigabe bleibt bei Ihnen.

Was nicht verlässlich geht

Rechnen gehört nicht zu den Stärken des Modells. Das BSI nennt die Mathematik nur als eingeschränktes Einsatzfeld und stellt fest, dass generative Modelle keine oder unzureichende Garantien für die Qualität ihrer Ausgaben bieten. Ein Modell kann bei einer Summe richtig liegen und bei der nächsten falsch, und der Antwort sehen Sie nicht an, welcher Fall vorliegt. Mengen, Kosten und Termine rechnet deshalb ein festes Programm oder eine Tabelle.

Auch Fakten kennt das Modell nur begrenzt. Hat es keinen Zugriff auf Echtzeitdaten, etwa über eine Suche, kennt es nach dem BSI nur, was zum Zeitpunkt des Trainings schon existierte. Viele Modelle beantworten trotzdem Fragen zu aktuellen Themen und erfinden dabei Inhalte, die weder in der Eingabe noch in den Trainingsdaten standen. Das BSI nennt das Halluzinieren. Solche Ausgaben erscheinen meist glaubhaft, auch wenn sie auf Quellen verweisen, die selbst frei erfunden sein können. Wer nach einer Frist, einer Normnummer oder einem Gerichtsurteil fragt, bekommt also unter Umständen eine gut klingende Erfindung.

Beim Lesen von Plänen fehlt mir eine Quelle, und eine eigene Messung habe ich nicht. Es ist eine Einschätzung des Autors: Maße, Höhen und Symbole aus Zeichnungen sollten Sie nicht allein vom Modell ablesen lassen. Wie gut ein bestimmtes Modell Bilder und Pläne verarbeitet, hängt vom Modell ab. Prüfen Sie es an einem Ihrer eigenen Pläne, bevor Sie sich darauf stützen.

Dasselbe Ergebnis liefert ein Modell ebenfalls nicht zuverlässig. Laut BSI sind die Ausgaben wegen Zufallskomponenten nicht zwingend reproduzierbar, dieselbe Eingabe kann also zu unterschiedlichen Ausgaben führen. Ein Prüfprotokoll, das sich bei jedem Lauf anders liest, taugt nicht als alleiniger Beleg.

Warum das Modell Lücken füllt

Das BSI hält fest, dass generative Modelle keine oder unzureichende Garantien für die Qualität ihrer Ausgaben bieten, auch wegen ihres probabilistischen Charakters. Fehlt eine Angabe in Ihren Unterlagen, kann das Modell die Lücke mit dem füllen, was nach seinen Mustern am besten passt.

Als Gegenmittel empfiehlt die Herstellerdokumentation von Anthropic, dem Modell ausdrücklich zu erlauben, „Ich weiß es nicht“ zu sagen. Das könne falsche Angaben drastisch verringern. Bei langen Dokumenten (die Dokumentation nennt mehr als 20.000 Token) solle man zuerst wörtliche Zitate herausziehen lassen und die Analyse auf diese Zitate stützen. Außerdem könne das Modell seine Aussagen mit Zitaten belegen und eine Aussage zurückziehen, wenn es keine Fundstelle findet. Derselbe Text hält aber fest, dass diese Verfahren Halluzinationen nicht vollständig beseitigen. Kritische Angaben sind weiterhin zu prüfen.

Das BSI nennt als Gegenmaßnahme, Ausgaben mit potenziell kritischen Auswirkungen zu überprüfen, bei Bedarf mit weiteren Quellen abzugleichen und gegebenenfalls manuell nachzubearbeiten. Das gilt besonders, wenn sie nach außen gehen.

Was daraus für die Arbeitsteilung folgt

Aufgabe	Wer
Notizen zum Protokollentwurf formulieren	Sprachmodell, danach Mensch
Fundstellen in Verträgen und Schriftverkehr suchen	Sprachmodell, Treffer im Original prüfen
Mengen, Summen, Preise, Fristen berechnen	festes Programm oder Tabelle
Maße aus Plänen übernehmen	Mensch, bei Bedarf mit Programm
Anspruch, Preis, Freigabe bewerten	Mensch

Ein erfundenes Beispiel zeigt die Teilung. Aus den Notizen einer Baubesprechung entsteht ein Protokollentwurf mit Spalten für Thema, Verantwortliche und Termin. Das Modell sortiert und formuliert. Ob ein Termin in den Notizen wirklich so steht, gleichen Sie mit dem Original ab, und eine Dauer oder Summe berechnet eine Tabelle. Was sprachlich ist, darf das Modell vorbereiten. Was stimmen muss, rechnet ein Programm oder entscheidet ein Mensch. Die Zeit, die Sie dabei gewinnen, liegt bei der Vorbereitung und der Reinschrift. Eine Prüfung ersetzt das Modell nicht.

Wie so ein Ablauf mit einem einzelnen KI-Schritt und fester Freigabe aufgebaut wird, steht im Beitrag KI im Workflow: ein KI-Schritt, feste Regeln, Freigabe.

Rechtliche Fragen, etwa zu Fristen oder zur Haftung, beantwortet die KI nicht verbindlich. Den Einzelfall klärt Ihr Rechtsbeistand. Projektdaten gehören nur auf eine Plattform, die sich DSGVO-konform betreiben lässt, nicht in einen Verbraucher-Chatdienst. Welche Daten in welches Werkzeug dürfen, beschreibt der Beitrag Datenzonen: Welche Daten dürfen in welches Werkzeug?. Das Gespräch mit dem Datenschutzbeauftragten gehört vor den ersten Einsatz.

Was Sie jetzt tun können

1. Nehmen Sie ein abgeschlossenes Protokoll und lassen Sie das Modell einen Entwurf aus Ihren alten Notizen schreiben. Vergleichen Sie Punkt für Punkt mit dem Original.
2. Stellen Sie dem Modell eine Frage, deren Antwort Sie kennen, etwa eine Frist aus Ihrem Vertrag. Notieren Sie, ob es die Fundstelle nennt oder rät.
3. Legen Sie fest, welche Berechnungen ausschließlich in Tabellen oder Programmen laufen.
4. Schreiben Sie für Ihr Büro auf, wer eine KI-Ausgabe vor der Weitergabe prüft.