Die Antwort zuerst: KI-Sicherheit ist Prozessarchitektur, nicht Nachbesserung
Das Bundesamt für Sicherheit in der Informationstechnik stellt Informationen und Empfehlungen zur sicheren Nutzung Künstlicher Intelligenz für Unternehmen und Organisationen bereit und betont, dass der Einsatz von KI-Systemen eigene Risiken mit sich bringt, die über klassische IT-Sicherheitsfragen hinausgehen. Für Stadtwerke, die KI zunehmend in Kundenservice, Prognoseverfahren oder interner Automatisierung einsetzen, ist das eine wichtige Einordnung: KI-Sicherheit ist kein nachträglicher IT-Check, sondern muss von Beginn an Teil der Prozessarchitektur sein.
Viele Organisationen führen KI-gestützte Verfahren zunächst als Pilotprojekt ein, mit dem Ziel, schnell einen fachlichen Nutzen zu zeigen. Sicherheitsfragen werden dabei oft als Folgeaufgabe behandelt, die nach erfolgreichem Piloten nachgezogen wird. Genau dieser Reihenfolge-Fehler führt dazu, dass Verfahren produktiv laufen, bevor Fragen zu Datenquellen, Nachvollziehbarkeit, Manipulationsrisiken und Verantwortlichkeiten geklärt sind.
Was eine KI-Guardrail in der Praxis bedeutet
Eine Guardrail ist keine abstrakte Sicherheitsrichtlinie, sondern eine konkrete, überprüfbare Regel für ein bestimmtes Verfahren. Für ein KI-gestütztes Kundenservice-Verfahren könnte das bedeuten: Welche Fragen darf das System eigenständig beantworten, welche müssen an einen Menschen eskaliert werden? Welche Datenquellen darf das System nutzen, und welche sind ausdrücklich ausgeschlossen? Wie wird dokumentiert, welche Antwort auf welcher Grundlage gegeben wurde? Diese Fragen lassen sich nicht allgemein beantworten, sie müssen für jedes Verfahren einzeln geklärt werden.
Für Prognoseverfahren, etwa im Lastmanagement oder in der Erzeugungsplanung, sind andere Guardrails relevant: Wie wird erkannt, wenn sich die Qualität der Eingabedaten verschlechtert? Welche Toleranzgrenzen gelten, bevor eine Prognose menschlich geprüft werden muss? Wie wird verhindert, dass ein fehlerhaftes Modell unbemerkt in nachgelagerte Entscheidungsprozesse einfließt? Auch hier gilt: Die Guardrail muss so konkret sein, dass sie im Betriebsalltag tatsächlich angewendet werden kann, nicht nur in einem Konzeptpapier existiert.
Nachvollziehbarkeit ist die Grundlage für Vertrauen und Nachweis
Ein wiederkehrendes Thema in Sicherheitsempfehlungen zu KI ist Nachvollziehbarkeit: Kann im Nachhinein rekonstruiert werden, welche Daten, welches Modell und welche Logik zu einer bestimmten Ausgabe geführt haben? Für Stadtwerke ist das aus zwei Gründen wichtig. Erstens, weil regulatorische und aufsichtsrechtliche Anforderungen zunehmend Nachweise über automatisierte Entscheidungsprozesse verlangen. Zweitens, weil interne Qualitätssicherung nur funktioniert, wenn Fehler nicht nur erkannt, sondern auch ursächlich erklärt werden können.
Eine Prozessarchitektur, die Nachvollziehbarkeit von Anfang an mitdenkt, protokolliert für jedes KI-gestützte Verfahren mindestens: welche Eingabedaten verwendet wurden, welche Version des Verfahrens aktiv war, welche Ausgabe erzeugt wurde und ob eine menschliche Prüfung oder Korrektur stattgefunden hat. Das klingt aufwändig, lässt sich aber in der Regel mit vorhandenen Protokollierungsmechanismen umsetzen, wenn es von Anfang an mitgeplant wird.
Verantwortlichkeiten müssen vor dem Produktivstart geklärt sein
Ein häufiges Versäumnis ist, dass bei Einführung eines KI-Verfahrens unklar bleibt, wer im Fehlerfall verantwortlich ist: die Fachabteilung, die das Verfahren fachlich verantwortet, die IT, die es betreibt, oder der externe Anbieter, der das Modell bereitstellt. Diese Frage sollte nicht erst im Störfall geklärt werden. Eine saubere Prozessarchitektur legt vor dem Produktivstart fest, wer für fachliche Korrektheit, wer für technische Verfügbarkeit und wer für Sicherheitsaspekte verantwortlich ist, und wie diese Rollen im Fehlerfall zusammenarbeiten.
Für Stadtwerke, die häufig auf externe KI-Dienstleister oder Standardsoftware mit KI-Komponenten zurückgreifen, kommt eine weitere Dimension hinzu: Welche vertraglichen Zusagen bestehen zu Sicherheit, Datenverarbeitung und Nachvollziehbarkeit, und wie wird geprüft, ob diese Zusagen tatsächlich eingehalten werden? Auch das gehört in die Prozessarchitektur, nicht nur in den Einkaufsvertrag.
Ein pragmatischer Einstieg für bestehende Verfahren
Stadtwerke, die bereits KI-gestützte Verfahren im Einsatz haben, müssen nicht sofort alles neu aufsetzen. Ein sinnvoller erster Schritt ist eine kurze, strukturierte Bestandsaufnahme: Welche Verfahren sind im Einsatz, welche Guardrails bestehen bereits, wo fehlt Nachvollziehbarkeit, und wo ist die Verantwortlichkeit ungeklärt? Diese Bestandsaufnahme liefert eine priorisierte Liste offener Punkte, die schrittweise abgearbeitet werden kann, statt ein unübersichtliches Gesamtprojekt zu starten.
Grenzen der redaktionellen Betrachtung
Diese Einordnung ersetzt keine IT-Sicherheits-, Datenschutz- oder Rechtsberatung im Einzelfall. Die konkrete Ausgestaltung von Sicherheitsmaßnahmen für KI-Verfahren muss anhand der jeweiligen Systemarchitektur, Datenlage und aktuell geltenden Anforderungen individuell geprüft werden.