Große Sprachmodelle (LLMs) sind längst im Arbeitsalltag angekommen – als Chatbots, Assistenzsysteme, Recherche- und Textwerkzeuge oder zur Zusammenfassung und Strukturierung von Inhalten. Mit ihrer Handreichung „KI in Behörden – Datenschutz von Anfang an mitdenken“ (für die Bundesverwaltung) adressiert die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI) diese Entwicklung und stellt dabei klar: LLMs verarbeiten häufig personenbezogene Daten – im Training und/oder in konkreten Nutzungsszenarien. Außerdem können personenbezogene Trainingsdaten in den Modellparametern repräsentiert sein und unter Umständen wieder ausgegeben werden.
Die Handreichung soll öffentlichen Stellen dabei helfen, zentrale Fragestellungen zu identifizieren und eine strukturierte Herangehensweise an KI-Projekte zu entwickeln. Gleichzeitig wird die Parallelität von DS-GVO und KI-Verordnung (KI-VO) betont: Die KI-VO lässt die datenschutzrechtlichen Bestimmungen unberührt. Beide Regelwerke bilden einen kohärenten Rahmen und sobald personenbezogene Daten verarbeitet werden, sind die datenschutzrechtlichen Vorgaben zu beachten.
Genau deshalb lohnt sich die Handreichung auch für Unternehmen. Nicht, weil Unternehmen „wie Behörden“ handeln, sondern weil die datenschutzrechtlichen Kernfragen beim Einsatz von LLMs wie beispielsweise Personenbezug, Transparenz, Rechte der Betroffenen, Governance, Nachweise, Verträge und Risikominderung in beiden Welten praktisch identisch sind.
1. Warum LLMs datenschutzrechtlich besonders herausfordernd sind
Die Handreichung der BfDI beschreibt drei typische Stolpersteine, die in der Praxis fast immer relevant werden:
-
Black-Box-Charakter: Die Ergebnisse sind für Menschen nicht ohne Weiteres nachvollziehbar. Das erschwert insbesondere die Betroffenenrechte (Auskunft, Löschung, Berichtigung etc.). Außerdem sind personenbezogene Daten nicht „im Klartext“ gespeichert, sondern verteilt in Modellgewichten und somit technisch schwer zu identifizieren, zu ändern oder zu entfernen.
-
Halluzinationen: LLM-Ausgaben beruhen auf Wahrscheinlichkeiten, sodass seltene Informationen („Long-Tail Knowledge“) häufig unzuverlässig ausgegeben werden. Das stellt eine Herausforderung für den Grundsatz der Datenrichtigkeit dar.
-
Memorisierung: Personenbezogene Trainingsdaten können (unabsichtlich oder durch gezielte Attacken) im Output erscheinen.
Diese Punkte sind keine „akademische“ Debatte, sondern wirken sich direkt in Projekte aus: auf Risikoanalysen, in Informationspflichten, in technische und organisatorische Maßnahmen – und auf die Frage, welche LLM-Bereitstellungsform überhaupt zum eigenen Schutzbedarf passt.
2. DSGVO und KI-VO: Parallel denken, integriert umsetzen
Die BfDI ordnet ein, dass sich die KI-VO und die DS-GVO ergänzen. Die KI-VO setzt produktsicherheitsrechtliche Anforderungen, während die DS-GVO die Rechtmäßigkeit und Grenzen der Verarbeitung personenbezogener Daten definiert. Bei KI-bezogenen Sachverhalten kann es angezeigt sein, die DSGVO im Lichte der KI-VO auszulegen – insbesondere dort, wo die KI-VO spezifischere Anforderungen normiert.
Für die Praxis bedeutet das: Der Datenschutz sollte (auch hier) nicht „nachgezogen“ werden, wenn das Tool schon live ist, sondern von Beginn an als Projektspur mitgeführt werden (inklusive Dokumentation, Rollen, Maßnahmen und Monitoring). Diese Logik zieht sich durch die gesamte Handreichung.
3. DSFA (und ggf. GRFA): Nicht als Pflichtübung, sondern als Steuerungsinstrument
Die Handreichung betont die Datenschutz-Folgenabschätzung (DSFA) als zentrales Instrument zur Erkennung und Begrenzung von Risiken bei KI-Systemen. Für viele KI-Einsätze wird eine DSFA „in der Regel erforderlich“ sein, beispielsweise aufgrund innovativer Nutzung neuer technologischer Lösungen oder des großen Umfangs der Datenverarbeitung.
Besonders praxisnah sind die Praxisempfehlungen:
-
Rollenklärung – DSFA durch den Verantwortlichen; Verantwortlichkeit vorab klären und festhalten,
-
frühzeitige Integration – „vorab“ vor Beginn der Verarbeitung; Bestandteil von Beschaffung/Entwicklung,
-
Lebenszyklusbezug – Training, Test, Implementierung, Nutzung, Anpassung,
-
Kontextanalyse – Auftrag, Umfeld, Risikolage,
-
Verknüpfung DSFA/GRFA – Schnittstellen und Zuständigkeiten,
-
Dokumentation und Beteiligung – DSB frühzeitig einbeziehen, ggf. Betriebsrat.
Zur Grundrechte-Folgenabschätzung (GRFA) nach Art. 27 KI-VO macht die BfDI deutlich: Die GRFA ergänzt die Datenschutz-Folgenabschätzung (DSFA), ersetzt diese aber nicht. Beide Verfahren sollten koordiniert, konsistent dokumentiert und abgeschlossen werden.
4. Transparenz, Informationspflichten und Betroffenenrechte: „KI nutzt sich nicht weg“
Die Handreichung arbeitet heraus, dass Transparenz ein Grundprinzip sowohl des Datenschutzrechts als auch der KI-VO ist. Informationspflichten (Artt. 13, 14 DS-GVO) und Auskunft (Art. 15 DS-GVO) konkretisieren das – mit besonderen Anforderungen bei automatisierten Entscheidungen i.S.d. Art. 22 DS-GVO.
Gleichzeitig adressiert die BfDI den Realismus: Bei LLMs sind Transparenz und Erklärbarkeit technisch und organisatorisch anspruchsvoll (Black-Box, probabilistische Ausgaben, Kontextabhängigkeit).
Aus der „Maßnahmen-Perspektive“ benennt die Handreichung u.a. Hilfsmittel wie Model Cards (Überblick über Benchmarks und Eignung eines konkreten LLMs), Schulungen und Leitfäden sowie technische und organisatorische Kontrollen (u.a. Zugriffskonzepte, Löschfristen, Filter/Guardrails).
5. Berichtigung und Löschung: die unterschätzte Baustelle
Die BfDI macht deutlich, dass es aufgrund der Art der Speicherung von personenbezogenen Daten bei LLMs technisch schwierig ist, diese zu identifizieren, zu ändern oder zu entfernen. Dies hat unmittelbare Auswirkungen auf Berichtigung und Löschung.
Im Maßnahmenkatalog wird u.a. auf Machine Unlearning als Ansatz im Kontext von Löschanfragen erwähnt, zugleich aber als sehr neues, teils ressourcenintensives Feld mit Wirksamkeits-/Qualitäts-Trade-offs beschrieben.
In der Praxis ist vor allem folgender Grundsatz wichtig: Man sollte sich nicht darauf verlassen, dass sich alles „hinten raus“ reparieren lässt, sondern Speicher- und Protokollierungsentscheidungen, Zugriffsrechte, Löschfristen sowie Nutzungsregeln so gestalten, dass Risiken gar nicht erst eskalieren.
6. Fairness und Bias: „Neutral prompten“ reicht nicht
Die Handreichung widmet dem Thema Fairness ein eigenes Kapitel und weist u.a. darauf hin, dass Prompt Engineering zwar versucht werden kann (z.B. stereotypearme Ausgaben), dies aber nichts an modellinhärenten Biases ändert.
Ergänzend wird auf die Notwendigkeit verwiesen, Bias im Training zu mitigieren und LLMs hinsichtlich Bias zu prüfen – also nicht erst zu reagieren, wenn Beschwerden auftreten, sondern systematisch vorzubeugen und zu evaluieren.
7. KI-Kompetenz & menschliche Aufsicht: Governance ist kein „Nice to have“
Die BfDI betont, dass KI-Kompetenz eine Pflicht gemäß Art. 4 KI-VO ist und eine organisatorische Maßnahme für eine datenschutzkonforme Verarbeitung darstellt. Unzureichende KI-Kompetenz kann dazu führen, dass menschliche Entscheider faktisch von KI-Ausgaben geleitet werden. Dies hat unter anderem Auswirkungen auf Art. 22 DSGVO und das Thema menschliche Aufsicht.
Auch zur menschlichen Aufsicht nimmt die BfDI konkret Stellung: Um nachweisbar zu machen, dass menschliche Entscheider nicht nur „pro forma“ eingebunden sind, sollen klare Prozesse definiert werden, die den Umgang mit KI-Ausgaben regeln. Zudem sollen Handlungsanleitungen und Schulungen bereitgestellt werden.
8. Monitoring, Verträge, Anbietersteuerung – und ein Punkt, der oft übersehen wird: „No-Training“ vereinbaren
Im Kapitel zu Rechenschaftspflicht/Monitoring/Datenschutzverträgen wird deutlich, dass Verantwortliche nicht bei der Einführung stehen bleiben dürfen: Nachweise und Kontrollen knüpfen an Risiken (z.B. Memorisierung) und den jeweiligen Einsatzkontext an.
Besonders praxisrelevant ist der Hinweis zu AI-as-a-Service-Konstellationen: Einige Anbieter behalten sich vor, Eingaben und Ausgaben zu Trainingszwecken weiterzuverwenden. Aufgrund der Memorisierungsrisiken und potenziell sensibler Inhalte muss ausgeschlossen werden, dass Ein- und Ausgaben für weiteres Training genutzt werden; dieser Ausschluss ist vertraglich zu vereinbaren.
Was bedeutet das konkret für Verantwortliche und Datenschutzbeauftragte in Unternehmen?
Die Handreichung liefert keine „Kopiervorlage“ für private Organisationen, sondern eine belastbare Struktur, um LLM-Vorhaben prüf- und steuerbar zu machen. Diese umfasst Lifecycle-Denken, DSFA-Logik, Transparenz- und Betroffenenrechts-Perspektive, Governance, Kompetenz, technische Maßnahmen sowie Vertrags- und Anbietersteuerung.
Wenn Sie aktuell KI-Use-Cases pilotieren oder bereits produktiv nutzen, sind aus unserer Sicht drei Fragen entscheidend:
-
Wo liegt der Personenbezug? (Inputs, Outputs, ggf. Modell/Training)
-
Wie wird das Risiko gemindert und nachweisbar gemacht? (DSFA-Setup, Maßnahmen, Rollen, Schulungen, Monitoring)
-
Wie wird der Anbieter vertraglich und technisch eingehegt? (insb. Ausschluss von Training mit Ein- und Ausgaben, Zugriffskonzepte, Löschfristen)
Wie wir Sie unterstützen können
Wir unterstützen Verantwortliche und Datenschutzbeauftragte dabei, die Anforderungen der Datenschutz-Grundverordnung (DS-GVO) und der KI-Verordnung (KI-VO) praxisnah in belastbare Prozesse zu übersetzen. Unser Leistungsspektrum umfasst dabei unter anderem die Einordnung von Use Cases, die Durchführung von DSFA (einschließlich Maßnahmenkatalog und Dokumentation), Anbieter- und Vertragsprüfungen, Governance-Rollen, Schulungen und operative Leitfäden für die Nutzung im Fachbereich.
Wenn Sie möchten, können wir gemeinsam klären,
-
welche Datenflüsse und Risiken Ihr konkreter Use Case tatsächlich erzeugt,
-
welche technischen und organisatorischen Maßnahmen sinnvoll sind,
-
welche Dokumentationen und Nachweise Sie benötigen,
-
und wie Sie das Ganze audit- und managementtauglich dokumentieren.
Sie haben Fragen zur Umsetzung in Ihrem Unternehmen oder suchen praxisnahe Unterstützung im Datenschutz und Compliance-Management? Wir stehen Ihnen mit Erfahrung und Expertise zur Seite – sprechen Sie uns gerne an: consulting@AdOrgaSolutions.de.
Quelle: BfDI – „KI in Behörden: Datenschutz von Anfang an mitdenken“ (Dezember 2025)
https://www.bfdi.bund.de/SharedDocs/Downloads/DE/DokumenteBfDI/Dokumente-allg/2025/Handreichung-KI.pdf?__blob=publicationFile&v=3
