1. Wer der Betreiber ist und warum die Rolle zählt
Die Verordnung unterscheidet zwischen demjenigen, der ein KI-System entwickelt, und demjenigen, der es einsetzt. Letzterer wird im Verordnungstext als Betreiber (Deployer) bezeichnet – also die Stelle, die das System in eigener Verantwortung nutzt. Wer beispielsweise eine Software zur Personalauswahl kauft und in den eigenen Betriebsabläufen einsetzt, ist Betreiber, selbst wenn keine einzige Zeile Code selbst geschrieben wurde. Diese Unterscheidung ist entscheidend, da die Pflichten grundlegend variieren und ein Unternehmen für verschiedene Systeme unterschiedliche Rollen einnehmen kann.
Die Einstufung hängt nicht von Vertragsbezeichnungen ab. Nimmst du wesentliche Anpassungen am System vor, veränderst den vorgesehenen Zweck oder vertreibst es unter eigenem Namen, kann sich deine rechtliche Rolle ändern – und damit auch deine Pflichten. Prüfe vor Beginn der Planung genau, wie der Hersteller das Produkt deklariert hat und welche konkreten Anpassungen für deinen Einsatz vorgesehen sind.
2. Wann ein System als Hochrisiko-KI gilt
Ein System gilt in zwei Hauptfällen als Hochrisiko-KI: wenn es eine Sicherheitskomponente eines Produkts ist, das bereits durch andere EU-Vorschriften reguliert wird, oder wenn sein Verwendungszweck unter die im Anhang der Verordnung aufgeführten Anwendungsbereiche fällt. Diese Liste umfasst sensible Bereiche wie Personalmanagement, Kreditwürdigkeitsprüfung, bestimmte essenzielle Dienstleistungen und Bildung. Nicht jeder Einsatz in diesen Bereichen bedeutet automatisch ein hohes Risiko: Ausschlaggebend ist die konkrete Funktion im Arbeitsablauf.
Der erste operative Schritt ist die Klassifizierung, wie sie im vertiefenden Leitfaden erläutert wird. Wichtig ist: Sie muss anhand der tatsächlichen betrieblichen Nutzung erfolgen, nicht allein nach dem Produktdatenblatt des Herstellers. Ein allgemeines Textanalyse-Tool kann zu einem Hochrisiko-System werden, sobald es zur Bewertung von Bewerbern herangezogen wird – und ab diesem Moment greifen andere Vorgaben. Diese Überprüfung muss bei jeder Funktionsänderung wiederholt werden, nicht nur beim Kauf.
3. Praktische Pflichten für Betreiber
Für Hochrisiko-Systeme verlangt die Verordnung vom Betreiber konkrete Maßnahmen. Dies sind keine bloßen Formalitäten: Jede Anforderung braucht einen Verantwortlichen und schriftliche Nachweise. Die Details müssen mit einem Berater verifiziert werden, das Grundgerüst unten zeigt jedoch die Kernpunkte, die du an deine Branche und deine Prozesse anpassen solltest. Nutze diese Liste als Leitfaden und ergänze betriebsnotwendige Schritte.
Menschliche Aufsicht und Protokollierung (Logging) werden von Unternehmen am häufigsten vernachlässigt. Eine Person, die jeden Systemvorschlag blind bestätigt, übt keine Aufsicht aus. Lege klare Kriterien fest, wann eine Entscheidung manuell geprüft werden muss, wer das System anhalten darf und in welchen Fristen bei Fehlfunktionen eingegriffen werden muss. Halte die Benennung der aufsichtsführenden Personen samt Qualifikation und Schulung schriftlich fest.
- Nutzung des Systems strikt gemäß der vom Anbieter bereitgestellten Betriebsanleitung.
- Menschliche Aufsicht qualifizierten Personen übertragen, die die Befugnis haben, einzugreifen oder das System zu stoppen.
- Sicherstellen, dass die Eingabedaten für den erklärten Zweck relevant und hinreichend repräsentativ sind.
- Den laufenden Betrieb überwachen und schwerwiegende Vorfälle unverzüglich dem Anbieter melden.
- Die vom System automatisch erzeugten Protokolle (Logs) für den vorgeschriebenen Zeitraum aufbewahren.
- Betroffene Personen informieren, wenn das System bei Entscheidungen über sie mitwirkt.
4. Beschäftigte und betroffene Personen
Wird das System im Arbeitskontext eingesetzt und betrifft es Beschäftigte, verlangt die Verordnung in bestimmten Fällen, dass Arbeitnehmer und ihre Vertretungen vor der Einführung am Arbeitsplatz informiert werden. Nationale arbeitsrechtliche Vorgaben können weitere Schritte vorschreiben, wie die formelle Beteiligung von Betriebsräten. Binde deine Arbeitsrechtsexperten vor der Aktivierung des Systems ein, nicht erst im Nachhinein. Bestehen Unklarheiten bezüglich der Informationspflichten, kläre diese vor dem Produktivstart.
Personen, die Gegenstand einer durch das System unterstützten Entscheidung sind, haben Anspruch auf klare Informationen über die Rolle, die die KI dabei gespielt hat. Erstelle einen kurzen, leicht verständlichen Hinweistext für den jeweiligen Prozess sowie einen Ablauf zur Beantwortung von Rückfragen oder Einsprüchen. Das ist kein formales Detail: Hier trifft das System auf den Menschen, und an dieser Schnittstelle entstehen Beschwerden meist zuerst.
5. Die Grundrechte-Folgenabschätzung
Für bestimmte Betreiber – insbesondere öffentliche Stellen oder private Unternehmen, die öffentliche Dienstleistungen erbringen – sowie für spezifische Einsatzzwecke wie manche Kreditprüfungen oder Risikobewertungen in Lebens- und Krankenversicherungen ist eine Grundrechte-Folgenabschätzung vorgeschrieben. Die Pflicht hängt von der Rechtsform und dem konkreten Einsatz ab. Kläre mit deinem Berater, ob dein Unternehmen darunterfällt, da die Analyse zwingend vor Inbetriebnahme vorliegen muss.
Die Folgenabschätzung beschreibt den Einsatzzweck, betroffene Personengruppen, potenzielle Risiken für Grundrechte und geeignete risikomindernde Maßnahmen. Sie ist ein lebendiges Arbeitsdokument und keine einmalige Pflichtaufgabe. Dieses Thema wird in einem eigenen Leitfaden vertieft, da es einer klaren Methodik bedarf. Achte darauf, dass der Text auch für Personen ohne tiefes technisches Vorwissen verständlich bleibt.
6. Vorfälle, Fehlfunktionen und Meldeprozesse
Führt das System zu einem schwerwiegenden Vorfall oder einer erheblichen Fehlfunktion, muss der Betreiber den Anbieter und gegebenenfalls die zuständigen Marktüberwachungsbehörden informieren. Definiere vorab, was in deinem Kontext als schwerer Vorfall gilt: ein isolierter Fehler, ein systematisches Fehlermuster oder die ungerechtfertigte Benachteiligung von Personen. Eine klare Definition verhindert zeitraubende Diskussionen im Ernstfall. Protokolliere alle Prüfergebnisse, um die Einhaltung deiner Sorgfaltspflichten nachweisen zu können.
Etabliere zudem eine interne Notfallprozedur: Wer wird alarmiert, wer darf das System stoppen, wie wird der Vorfall dokumentiert und wie läuft die Rückkehr zu manuellen Prozessen ab? Diese Verzahnung mit dem Business-Continuity-Plan ist oft der wertvollste Baustein, da ein angehaltenes System sofort durch funktionierende manuelle Abläufe ersetzt werden muss. Stimme diesen Ablauf mit den operativen Prozessverantwortlichen ab.
7. Verträge und Dienstleister: Was einzufordern ist
Der Vertrag mit dem Softwareanbieter ist das zentrale Werkzeug, um die notwendigen Informationen zu erhalten. Verlange technische Unterlagen zum bestimmungsgemäßen Gebrauch, Betriebsanleitungen, bekannte Leistungsgrenzen, Qualitätsanforderungen an Eingabedaten, Update-Routinen sowie Meldewege für Vorfälle. Kann der Anbieter hierzu keine Auskunft geben, ist dies selbst eine Information, die als Risiko erfasst werden muss. Vereinbare auch eine Pflicht des Anbieters, funktionale Änderungen frühzeitig anzukündigen.
Prüfe zudem genau, wer auf die Daten zugreifen kann und wo diese gespeichert werden – trenne dabei Zugriffs- und Speicherorte sauber voneinander. Ein Anbieter, der Genauigkeit nur pauschal zusichert, liefert dir nicht die notwendigen Nachweise für deine Sorgfaltspflicht. Fordere alle zur Steuerung des Systems benötigten Angaben schriftlich ein. Bleiben Rückmeldungen vage, behandle das Risiko als ungelöst und setze eine Frist zur Klärung.
8. Weiterführende Themen im Cluster
Dieser Leitfaden dient als Orientierungskarte. Fragen, die gesonderte Vertiefungen erfordern, sind: Wie werden Systeme nach Risikoklassen eingestuft? Welche Praktiken sind verboten? Wie wird eine Grundrechte-Folgenabschätzung durchgeführt? Wie greifen AI Act und DSGVO ineinander und was ändert sich im Personalwesen? Jeder Verweis ist nur dann sinnvoll, wenn das Thema mit Verantwortlichem und Termin auf der Agenda bleibt.
Nutzt du bereits ein System, lies zuerst den Leitfaden zur Risikoklassifizierung. Setzt du KI zur Personalauswahl oder Leistungsbeurteilung ein, wechsle direkt zum Leitfaden für Personalabteilungen. Baust du ein eigenes Angebot auf Basis eines fremden Basismodells auf, hilft dir der Leitfaden zu Allzweck-KI-Modellen bei den Anforderungen an den Zulieferer. So liest du die passende Anleitung zur richtigen Zeit.
9. Wie du am besten startest
Wähle in dieser Woche das System aus, das einem Hochrisiko-Einsatz am nächsten kommt, und fordere vom Anbieter drei Dokumente an: die Betriebsanleitung, die Beschreibung der bestimmungsgemäßen Verwendung sowie die Hinweise zur menschlichen Aufsicht. Anhand dieser Unterlagen kannst du feststellen, ob deine Rolle und dein Pflichtenkreis klar sind oder ob vor dem weiteren Betrieb Klärungsbedarf besteht. Du musst nicht sofort perfekt aufgestellt sein, aber wissen, wo du beginnst.
Benenne anschließend einen internen Verantwortlichen für dieses System und führe ein erstes Abstimmungsgespräch mit deinem Compliance-Berater und gegebenenfalls der Personalabteilung. Es braucht nicht sofort ein fertiges Gesamtkonzept. Wichtig ist zu klären, wer entscheidet, wer die Aufsicht führt und welche Unterlagen noch fehlen. Lege direkt das Datum für die nächste Überprüfung fest, damit der Prozess im Fluss bleibt.
Häufig gestellte Fragen
Gilt mein Unternehmen bei Nutzung einer HR-Software automatisch als Betreiber einer Hochrisiko-KI?
Nicht automatisch. Entscheidend ist die konkrete Funktionsweise der Software. Dient sie der aktiven Vorauswahl, Filterung oder Bewertung von Bewerbern, fällt sie in einen Bereich, den die Verordnung als sensibel einstuft, und muss genau geprüft werden. Organisiert das Tool lediglich Unterlagen oder versendet Termine, sieht das Bild anders aus. Nimm die Einstufung anhand des tatsächlichen Nutzens vor und begründe sie schriftlich.
Reicht eine rein formale menschliche Aufsicht aus?
Nein. Die Aufsicht muss real und wirksam sein: Sie erfordert eine fachlich qualifizierte Person mit ausreichend Zeit und der nötigen Autorität, Entscheidungen zu hinterfragen und das System bei Bedarf anzuhalten. Wenn Systemvorschläge lediglich ungeprüft durchgewunken werden, ist die Aufsicht eine reine Farce. Dokumentiere, wer die Aufsicht führt, welche Schulung vorliegt und nach welchen Regeln interveniert wird.
Muss ich die Systemprotokolle (Logs) aufbewahren?
Grundsätzlich ja: Betreiber sind verpflichtet, die vom System erzeugten Protokolle für den gesetzlich und kontextbezogen vorgeschriebenen Zeitraum vorzuhalten. Die genaue Frist sollte mit einem Berater abgestimmt werden. Stimme die Protokollierung zudem mit den Datenschutzvorgaben ab, da Protokolldateien personenbezogene Daten enthalten können und entsprechend geschützt werden müssen.
Muss der Softwarehersteller offenlegen, wie das System im Detail funktioniert?
Er muss ausreichende Informationen bereitstellen, um einen sicheren und bestimmungsgemäßen Einsatz zu ermöglichen – darunter Anleitungen, bekannte Grenzen und Voraussetzungen an Daten. Geschäftsgeheimnisse oder den Quellcode muss er in der Regel nicht offenlegen. Du benötigst jedoch praxistaugliche, schriftliche Betriebsdaten. Bleiben Angaben vage, fordere Präzisierung ein, bevor das System produktiv genutzt wird.
Was geschieht, wenn der Anbieter das System aktualisiert?
Ein Update kann Funktionen, Leistungsgrenzen und Risiken verändern. Verlange vom Anbieter eine Übersicht der Änderungen und prüfe, ob die Risikoeinstufung oder das Aufsichtskonzept angepasst werden müssen. Gehe niemals davon aus, dass ein Update neutral ist – insbesondere wenn es Algorithmen zur Personenbewertung betrifft.
Ab wann gelten diese Pflichten verbindlich?
Die Vorgaben werden stufenweise wirksam und können durch nachfolgende Rechtsakte weiter präzisiert werden. Verlasse dich nicht auf Fristen aus allgemeinen Zusammenfassungen. Prüfe den aktuellen Gesetzestext und den Zeitplan gemeinsam mit deinem Berater, bevor du betriebliche Verpflichtungen festlegst, und plane die Umsetzung vorausschauend.
Reicht es aus, sich voll auf den Softwareanbieter zu verlassen?
Nein. Der Hersteller verantwortet die Konformität des gelieferten Produkts, für die rechtmäßige Nutzung in deiner Organisation bist jedoch du selbst zuständig. Der Vertrag regelt Pflichten und Schnittstellen, entbindet dich aber nicht von menschlicher Aufsicht, Kontrollen und interner Dokumentation. Halte schriftliche Auskünfte des Anbieters und eigene Beschlüsse fest – sie belegen deine unternehmerische Sorgfalt.