Zum Inhalt springen
KI-XellenzKI, die den Projektalltag kennt und entlastet.
DE EN

Datenschutz und Regeln

Lokale Sprachmodelle im Büro: Leistung und Kosten

aktualisiert am 7 Min. Lesezeit

Martin Felux, Bau- und Wirtschaftsingenieur

Ein eigener KI-Server im Büro kann Texte zusammenfassen, Fragen zu Ihren Dokumenten beantworten und Entwürfe für Protokolle und Schreiben liefern, ohne dass die Daten das Haus verlassen. Er erreicht aber nicht die Modellgröße großer Cloud-Dienste und verursacht laufenden Aufwand. In der Beispielrechnung unten kostet er im ersten Jahr gut das Fünffache der Cloud, und das liegt vor allem an der Anschaffung. Er lohnt sich nur in bestimmten Fällen.

Die vier Schichten eines lokalen Aufbaus

Ein lokaler Aufbau hat vier Schichten. Unten steht die Hardware, vor allem eine Grafikkarte mit viel Speicher. Darauf läuft das Sprachmodell, dessen mögliche Größe vom Speicher abhängt. Darüber liegt die Oberfläche: Chatfenster, Anmeldung, Rechte, Protokolle. Oben stehen Ihre Dokumente, auf die das Modell zugreifen soll.

Die Größe des Modells bestimmt, welche Hardware nötig ist. Eine Faustregel, die ich als eigene Rechnung angebe: Bei 4-Bit-Quantisierung braucht ein Modell etwa ein halbes Byte je Parameter. Ein Modell mit 27 Milliarden Parametern belegt dann rund 14 Gigabyte, hinzu kommt Speicher für den Kontext. Ein Modell mit 120 Milliarden Parametern wie gpt-oss-120b braucht rund 60 Gigabyte. Das gemietete Einsteigermodell GEX45 von Hetzner hat 24 Gigabyte Grafikspeicher und kostet 214 Euro im Monat zuzüglich 209 Euro Einrichtungsgebühr (Abruf 13. November 2026, ohne Mehrwertsteuer). Es steht laut Hetzner-Seite am Standort HEL 1 in Helsinki. Für Modelle ab etwa 100 Milliarden Parametern führt Hetzner Server mit 96 Gigabyte, der günstigste kostet 999 Euro im Monat zuzüglich 999 Euro Einrichtungsgebühr. Ein gemieteter Server ist ein externer Dienst. Wie bei jeder Cloud braucht er einen Vertrag nach Art. 28 DSGVO, mehr dazu im Beitrag KI im Büro DSGVO-tauglich betreiben.

Was lokal gut geht und wo die Grenzen liegen

Lokal passen Modelle um 30 Milliarden Parameter, bei kleinen Karten auch kleinere. Große Cloud-Anbieter in der EU stellen größere bereit: Die Preisliste von IONOS führt neben Qwen3.8-27B auch gpt-oss-120b und Qwen3.5-397B. Wie groß der Qualitätsunterschied bei Ihren Aufgaben ist, etwa bei Fachtexten auf Deutsch oder beim Auslesen von Rechnungen, habe ich nicht belastbar gemessen und auch keine Studie dazu gefunden. Testen Sie vor einer Anschaffung mit eigenen Dokumenten.

Zur Last: Die 12,5 Millionen Ausgabe-Token im Monat aus der Beispielrechnung ergeben, verteilt auf 22 Arbeitstage zu 8 Stunden, im Mittel rund 20 Token je Sekunde (meine Umrechnung). Für die stärkste Stunde nehme ich das Dreifache an, also rund 60 Token je Sekunde für alle 15 Personen zusammen (Annahme). Wie viele Personen ein Server bedient, hängt deshalb weniger von der Zahl der Konten ab als davon, wie viele gleichzeitig fragen. Ein Fremdtest nennt für eine Karte dieser Klasse mit einem Modell um 30 Milliarden Parameter rund 39 Token je Sekunde für eine einzelne Anfrage; im Parallelbetrieb rechne ich mit rund 130 Token je Sekunde insgesamt (hochgerechnet, nicht gemessen). Nach meinem Kapazitätsmodell ist der Server im Beispiel damit in der stärksten Stunde zu rund zwei Dritteln ausgelastet, und bei 70 Prozent ziehe ich die Grenze. Eine Karte trägt bei dieser Nutzung also etwa 15 Personen. Für deutlich mehr braucht es weitere Karten mit Lastverteilung, bei seltenerer Nutzung reicht sie für entsprechend mehr Personen. Ein Lasttest mit Ihren Dokumenten gehört zur Planung. Die Cloud kennt diese Grenze praktisch nicht: Sie rechnet nach Verbrauch ab, nicht je Person, und der Anbieter stellt die Rechenleistung.

Zur Sicherheit: Die lokale Software ist nicht automatisch sicher. Als Beispiel für die Laufzeitumgebung habe ich Ollama gelesen. Der Hersteller schreibt, er sehe bei lokalem Betrieb weder Eingaben noch Daten. Die Dokumentation sagt, dass der Server standardmäßig nur an 127.0.0.1 lauscht. Wer ihn im Netz erreichbar macht, muss den Zugriff selbst schützen, denn die Programmierschnittstelle bietet laut NVD-Eintrag in der Originalversion für zwei zentrale Funktionen keine Anmeldung. Im Mai 2026 wurde die Lücke CVE-2026-7482 bekannt (9,1 von 10 nach CVSS 3.1): Versionen vor 0.17.1 hatten einen Fehler beim Lesen von Speicher, den ein Angreifer aus der Ferne ohne Anmeldung auslösen konnte. Nach der Schätzung im Bericht von The Hacker News dürften weltweit über 300.000 Server betroffen gewesen sein. Wartung heißt deshalb: Updates einspielen, den Netzzugang begrenzen, Protokolle prüfen.

Datenschutzrechtlich kann ein eigener Server zu den geschlossenen Systemen zählen, die die Datenschutzkonferenz (DSK) vorzieht. Was darunter fällt, steht im Beitrag zum DSGVO-tauglichen Betrieb.

Was es kostet: eine Beispielrechnung

Das Beispiel ist erfunden: ein Bauunternehmen mit 15 Mitarbeitenden, das drei Lösungen betreibt, nämlich eine Suche in Projektunterlagen, den Eingang von Rechnungen und einen geregelten KI-Zugang. Alle Zahlen außer den ausdrücklich belegten sind Annahmen meines Kostenmodells, Stand 13. November 2026, alle Beträge netto. Ich rechne mit runden Annahmen und runde die Summen auf 100 Euro. Beim Verbrauch nehme ich an, dass alle 15 Personen das Werkzeug täglich nutzen: rund 40 Anfragen je Person und Arbeitstag, das sind rund 12.500 Anfragen im Monat, je Anfrage 6.000 Eingabe-Token (Frage mit Auszügen aus Dokumenten) und 1.000 Ausgabe-Token. Zusammen sind das 75 Millionen Eingabe-Token und 12,5 Millionen Ausgabe-Token im Monat. Verglichen werden nur Kosten, die je Weg verschieden sind. Die Anwendungen selbst und ihre Pflege fallen bei jedem Weg gleich an und stehen deshalb nicht in der Rechnung. Gerechnet wird über 12 Monate, also das erste Jahr mit der Anschaffung. Einen Restwert der Hardware setze ich nicht an.

Beispielrechnung für 15 Personen: eigener Server gegen Cloud
Textfassung der Grafik
  • Einmalig: Eigener Server (Kauf) 14.500 €, Cloud nach Verbrauch 1.200 € (Annahmen)
  • Je Monat: Eigener Server (Kauf) 330 €, Cloud nach Verbrauch 175 € (Wartung 300 € beim Server, 75 € bei der Cloud)
  • Über 12 Monate: Eigener Server (Kauf) 18.500 €, Cloud nach Verbrauch 3.300 € (Summe aus beidem, gerundet)
  • Quelle: Beispielrechnung des Autors mit erfundenem Büro, netto. Annahmen und Rechenweg im Text.
Weg einmalig je Monat 12 Monate
Eigener Server (Kauf) 14.500 € 330 € rund 18.500 €
Gemieteter Server (Hetzner GEX45) rund 3.200 € rund 515 € rund 9.400 €
Cloud nach Verbrauch (Verbrauch nach IONOS-Preisliste, feste Posten geschätzt) 1.200 € 175 € 3.300 €

So rechnet die Tabelle, alles Annahmen, soweit keine Quelle genannt ist:

  • Eigener Server, einmalig: Grafikkarte 8.000 Euro netto, übriger Rechner 2.500 Euro, Stromversorgung gegen Ausfall 500 Euro, Sicherung 500 Euro, Einrichtung 2,5 Tage zu 1.200 Euro (3.000 Euro), zusammen 14.500 Euro. Der Kartenpreis ist eine Annahme des Autors für November 2026. PC Games Hardware nannte am 10. September 2026 mindestens 5.249 Euro im Preisvergleich (ob mit Umsatzsteuer, sagt die Quelle nicht); die Preise sind seither gestiegen, den heutigen Preis habe ich nicht mit einer Quelle belegt. Je Monat: Strom 30 Euro (rund 100 Kilowattstunden zu 0,30 Euro) und Wartung 300 Euro (vier Stunden zu 75 Euro), zusammen 330 Euro. Über 12 Monate sind das 18.460 Euro, gerundet 18.500.
  • Gemieteter Server, einmalig: 209 Euro Einrichtungsgebühr (Hetzner) und 3.000 Euro für die Einrichtung durch einen Dienstleister. Je Monat: 214 Euro Miete (Hetzner) und 300 Euro Wartung, zusammen 514 Euro. Über 12 Monate sind das 9.377 Euro, gerundet 9.400. Eine Sicherung ist in dieser Zeile nicht enthalten. Vorbehalt: Nach meinem Kapazitätsmodell trägt die Karte dieses Modells die Last des Beispiels nicht (ihr Durchsatz ist nicht gemessen, ich rechne mit einem vorsichtigen Ersatzwert). Das nächstgrößere Modell GEX63 trüge sie und kostete im ersten Jahr rund 19.600 Euro.
  • Cloud, einmalig: 1.200 Euro für die Anbindung. Je Monat: 80 Euro feste Posten für Betrieb der Anbindung und einen Suchdienst (Schätzung, nicht aus der IONOS-Preisliste), 75 Euro für eine Stunde Pflege (Zugänge, Schlüssel, Modellwechsel, Kostenkontrolle; Annahme) und rund 20 Euro Verbrauch, zusammen 175 Euro. Die Plattform selbst betreibt der Anbieter.
  • Der Verbrauch folgt aus der IONOS-Preisliste für gpt-oss-120b: 75 Millionen Eingabe-Token zu 0,15 Euro je Million (11,25 Euro) und 12,5 Millionen Ausgabe-Token zu 0,65 Euro je Million (rund 8,13 Euro), zusammen rund 19,40 Euro, gerechnet mit 20 Euro. Die Liste nennt keine Umsatzsteuer, ich behandle die Beträge als netto. Der Verbrauch bleibt auch bei täglicher Nutzung durch alle der kleinste Posten.
  • Die Wartungszeit von vier Stunden im Monat ist eine Praxisannahme des Autors für einen gekapselten Server, der nur aus dem Büronetz erreichbar ist (Updates, Sicherung, Protokolle, Störungen). Bei drei Stunden kostet der eigene Server im ersten Jahr rund 17.600 Euro, bei fünf Stunden rund 19.400 Euro, der gemietete rund 8.500 beziehungsweise 10.300 Euro. Ist der Server aus dem Internet erreichbar, steigt der Aufwand.
  • Der Stundensatz von 75 Euro ist ebenfalls eine Annahme, etwa für eine eigene IT-Kraft oder einen Rahmenvertrag; eine unabhängige Erhebung habe ich nicht gefunden. Mit 150 Euro für einen externen Dienstleister kostete der eigene Server im ersten Jahr rund 22.100 Euro, die Cloud 4.200 Euro.

Drei Grenzen der Rechnung: Die Cloud-Zeile nutzt ein größeres Modell (120 Milliarden Parameter), als die 32 Gigabyte der Gaming-Karte tragen. Der Kartenpreis gilt für eine Gaming-Karte (GeForce RTX 5090); für den Dauerbetrieb im Büro kommen auch andere Karten in Frage, deren Preise ich nicht geprüft habe. Mit dem Septemberpreis der Quelle (rund 4.400 Euro netto) ergäben sich rund 14.900 Euro. Und dass eine einzelne Karte 12.500 Anfragen im Monat mit kurzen Wartezeiten bedient, folgt aus meinem Kapazitätsmodell mit Werten aus Fremdtests, nicht aus einer eigenen Messung unter Last. Ganz ohne Wartung kostete der eigene Server im ersten Jahr ebenfalls rund 14.900 Euro, immer noch gut das Vierfache der Cloud. Im ersten Jahr bleibt die Cloud in allen diesen Fällen günstiger.

Wohin das Geld im ersten Jahr geht (15 Personen)
Textfassung der Grafik
  • Hardware und Einrichtung: Eigener Server (Kauf) 14.500 €, Cloud nach Verbrauch 1.200 € (einmalig)
  • Wartung und Pflege: Eigener Server (Kauf) 3.600 €, Cloud nach Verbrauch 900 € (Server 4 Stunden, Cloud 1 Stunde im Monat zu 75 € (Annahme))
  • Strom bzw. Verbrauch: Eigener Server (Kauf) 360 €, Cloud nach Verbrauch 240 € (Strom 30 €, Verbrauch 20 € im Monat)
  • Feste Posten der Cloud: Eigener Server (Kauf) 0 €, Cloud nach Verbrauch 960 € (80 € im Monat (Schätzung))
  • Quelle: Beispielrechnung des Autors mit erfundenem Büro, netto, über 12 Monate. Annahmen im Text.

Den Ausschlag gibt die Anschaffung. Die Mehrkosten des eigenen Servers betragen im ersten Jahr rund 15.200 Euro, davon entfallen 13.300 Euro auf Hardware und Einrichtung. Im laufenden Betrieb kostet der Server 155 Euro im Monat mehr (330 gegen 175 Euro), er holt die Cloud bei diesem Verbrauch also auch später nicht ein. Anders sieht es bei deutlich höherer Last aus: Bei zehnfachem Verbrauch (linear hochgerechnet, eine Annahme) lägen die Verbrauchskosten der Cloud bei rund 200 Euro im Monat und die Cloud insgesamt bei rund 355 Euro, also knapp über den laufenden Kosten des Servers. Ob eine Karte diese Last trägt, ist dann eine eigene Frage. Für den eigenen Server sprechen Kontrolle und Datenhaltung, der Preis spricht in dieser Rechnung dagegen.

Für wen sich ein eigener Server eignet

Er passt, wenn mehrere dieser Punkte zutreffen: Ihre Daten oder Verträge verbieten die Weitergabe an Dritte, Sie haben eine IT-Betreuung mit Zeit für Updates und Sicherung, und Ihnen ist die Kontrolle den Mehrpreis wert. In allen anderen Fällen ist eine Cloud mit Auftragsverarbeitungsvertrag in der EU für ein kleines Büro die einfachere Lösung. Ob ein Weg für Ihre Daten trägt, entscheidet im Einzelfall Ihr Datenschutzbeauftragter oder ein Anwalt.

Was Sie jetzt tun können

  1. Schätzen Sie Ihre Last: Wie viele Personen fragen gleichzeitig, wie lang sind die Dokumente? Damit lassen sich Modellgröße und Speicher abschätzen.
  2. Holen Sie ein Angebot für Betreuung ein, bevor Sie Hardware kaufen. Wartung und Sicherheitsupdates fallen jeden Monat an, solange der Server läuft.
  3. Testen Sie ein Modell mit Ihren eigenen Dokumenten, zuerst bei einem Anbieter mit Vertrag oder auf einem gemieteten Server, bevor Sie Hardware anschaffen.
  4. Klären Sie mit Ihrem Datenschutzbeauftragten, ob ein Betrieb im Haus für Ihre Daten nötig ist. Die Wahl des Modells samt Lizenz gehört zur Einrichtung und ist kein Punkt, den Sie allein lösen müssen.

Allgemeine Information, keine Rechts- oder Steuerberatung. Den Einzelfall klären Ihr Steuerberater, Ihr Datenschutzbeauftragter oder Ihr Anwalt.

Häufige Fragen

Wie viel Strom braucht ein eigener KI-Server?

Das Beispiel rechnet mit rund 100 Kilowattstunden im Monat, das entspricht knapp 140 Watt im Mittel über den Dauerbetrieb. Bei 0,30 Euro je Kilowattstunde sind das 30 Euro im Monat. Mittelwert und Strompreis sind Annahmen. Messen Sie die Leistung vor einer Anschaffung am echten Gerät.

Darf ich offene Sprachmodelle im Betrieb frei nutzen?

Ja, wenn die Lizenz des Modells den gewerblichen Einsatz erlaubt. Auf einem eigenen Server laufen ausschließlich offene Modelle, und die Auswahl gehört zu meiner Arbeit: Ich wähle das Modell nach Aufgabe, Hardware und Lizenz aus und halte bei der Einrichtung schriftlich fest, welche Lizenz gilt. Vorrang haben Modelle mit freizügigen Lizenzen wie Apache 2.0 oder MIT. Modelle mit eigenen Nutzungsbedingungen des Herausgebers setze ich nur ein, wenn die Bedingungen zu Ihrem Einsatz passen.

Ist ein lokaler Server automatisch datenschutzgerecht?

Nein. Es entfällt der externe Anbieter, die Pflichten für Zugriff, Updates, Protokolle und Löschung bleiben bei Ihnen. Den Einzelfall klärt Ihr Datenschutzbeauftragter oder ein Anwalt.

Quellen

  1. DSK-Orientierungshilfe „Künstliche Intelligenz und Datenschutz“, Version 1.0 vom 6. Mai 2024 (abgerufen am 13.11.2026)
  2. STACKIT: Modelle und Lizenzen (Stand 4. November 2026) (abgerufen am 13.11.2026)
  3. Hetzner: GEX45, Preis, Einrichtungsgebühr, Grafikspeicher (abgerufen am 13.11.2026)
  4. Hetzner: GPU-Server im Überblick (GEX45, GEX63, GEX131, GEX430) (abgerufen am 13.11.2026)
  5. PC Games Hardware: Geforce RTX 5090, Preise in Deutschland (10. September 2026) (abgerufen am 13.11.2026)
  6. IONOS: AI Model Hub, Modelle und Preise (abgerufen am 13.11.2026)
  7. Ollama: Datenschutzerklärung (Stand März 2026) (abgerufen am 13.11.2026)
  8. Ollama: FAQ (Netzwerkbindung, Zugriff von außen) (abgerufen am 13.11.2026)
  9. NIST National Vulnerability Database: CVE-2026-7482 (Ollama, veröffentlicht 4. Mai 2026) (abgerufen am 13.11.2026)
  10. The Hacker News: Ollama-Sicherheitslücke CVE-2026-7482 (10. Mai 2026) (abgerufen am 13.11.2026)

Weiterlesen