„Eine neue Ära der KI-Regulierung!“

Der EU AI Act ist der weltweit erste umfassende Rechtsrahmen zur Regulierung von Künstlicher Intelligenz (KI). Er soll einerseits die Gesellschaft vor den Risiken dieser Technologie schützen, andererseits aber auch Innovationen fördern. Der auf KI-Recht und Human Resources spezialisierte Rechtsanwalt Bengt Petersen erläutert im Interview, welche Anforderungen der AI Act insbesondere im Personalbereich an Unternehmen stellt und welche rechtlichen Konsequenzen bei Verstößen drohen.

Was ist der EU AI ACT und wann tritt er in Kraft?

Der EU AI Act ist weltweit der erste umfassende Rechtsrahmen zur Regulierung von KI. Die EU-Verordnung soll die Gesellschaft vor den Risiken von KI schützen, aber gleichzeitig Innovationen und Fortschritt in diesem Gebiet nicht verhindern. Zur Regulierung von KI verfolgt der AI Act einen sog. risikobasierten Ansatz. Das bedeutet konkret, dass Risikokategorien bestimmt werden, denen ein KI-System zugeordnet werden kann. Für die verschiedenen Kategorie bestimmt der AI Act mehr oder weniger umfassende Pflichten. Die Kategorien sind:

• Verbotene KI-System
• KI-Systeme mit hohem Risiko
• KI-Systeme mit begrenztem Risiko
• KI-Systeme mit minimalem Risiko

Der AI Act dreht sich hauptsächlich um KI-Systeme mit hohem Risiko und legt insbesondere Anbietern dieser Systeme, aber z.B. auch den Verwendern (sog. „Betreiber“) diverse Verpflichtungen auf.

Der EU AI Act ist am 01.08.2024 in Kraft getreten. Die ersten Regelungen gelten nach einer Übergangsfrist ab Februar 2025. Das betrifft z.B. die Verpflichtung, dass Mitarbeiter, die in einem Unternehmen KI-Anwendungen nutzen, über ausreichend KI-Kenntnisse verfügen. Mitte 2025 werden weitere Regelungen verpflichtend, während der Hauptteil des AI Acts ab Mitte 2026 verpflichtend wird.

Hat Deutschland Gestaltungsmöglichkeiten des EU AI ACT auf nationaler Ebene?

Der deutsche Gesetzgeber hat kaum Gestaltungsmöglichkeiten, da es sich bei dem AI Act um eine Verordnung handelt, die als solche Gesetzescharakter hat. Die Vorschriften gelten also unmittelbar in allen Mitgliedsstaaten der EU. Einzig bei der Durchsetzung des AI Acts haben die Mitgliedsstaaten einen Umsetzungsspielraum.

Welche Sanktionen sind bei Verstößen vorgesehen?

Je nach Art des Verstoßes kommen unterschiedlich schwere Sanktionen in Betracht. Wenn beispielsweise Anbieter oder Betreiber von Hochrisiko-KI-Systemen gegen ihre Pflichten verstoßen, können Geldbußen bis zu 15 Millionen € oder bis zu 3 % des gesamten weltweiten Jahresumsatzes eines Unternehmens verhängt werden.

Welche Bedeutung hat der AI Act für HR?

HR ist ein Bereich, in dem die Quote von KI-Systemen mit hohem Risiko mit am höchsten ist. Über 75% aller überprüften KI-Systeme im Bereich HR wurden im Rahmen einer Studie in die Hochrisiko-Kategorie eingestuft. Der Grund dafür ist, dass diese KI-Systeme oft über die beruflichen Karrieren von Menschen (mit-)entscheiden können. Deshalb stellt der Gesetzgeber im AI Act umfangreiche Anforderungen an solche KI wie Transparenz, Datensicherheit, Riskmanagement, etc.

Nicht nur der Gesetzgeber sieht bei bestimmten KI-Systemen im Bereich HR ein Risiko. In einer anderen Studie gaben 80% der Befragten an, dass sie sich bei dem Einsatz von KI im Bewerbungsprozess unwohl fühlen. Die Vorteile von KI-Unterstützung für viele Bereiche im Bereich HR liegen jedoch auf der Hand. Die Unternehmen stehen also vor der Herausforderung, auf der einen Seite die neuen Entwicklungen und Möglichkeiten nicht zu verpassen und auf der anderen Seite, für einen verantwortungsvollen Einsatz der KI-Systeme sowie eine transparente Kommunikation an die Mitarbeiter bzw. Bewerber zu sorgen.

Welche Pflichten nach dem EU AI ACT kommen auf Unternehmen zu, die im HR-Bereich KI einsetzen?

Wenn Unternehmen KI-Systeme mit hohem Risiko einsetzen, gelten sie nach dem AI Act in der Regel als Betreiber dieser KI und müssen bestimmte Pflichten erfüllen. Diese sind zwar längst nicht so umfassend wie die der Anbieter, aber dennoch unbedingt zu beachten, da anderenfalls empfindliche Sanktionen drohen. Während die Anbieter diverse Pflichten bzgl. der technischen Ausgestaltung der KI treffen (z.B. Sicherheit, Transparenz, Funktionalität, etc.) müssen die Betreiber insb. die ordnungsgemäße Verwendung der KI sicherstellen. Dazu gehört neben der Beachtung der Betriebsanleitung beispielsweise auch die menschliche Aufsicht der KI durch geschultes Personal.

Außerdem muss die KI vor allem beim Einsatz im HR-Bereich gegenüber den Mitarbeitern ausreichend transparent kommuniziert werden. Weiterhin treffen die Betreiber Meldepflichten bei bestimmten Vorfällen wie z.B. bei Fehlfunktionen.

Insgesamt ist es ratsam, unternehmensinterne Richtlinien für die Verwendung der KI-Systemen vorzugeben. So kann das Risiko eines Verstoßes gegen die Betreiber-Pflichten durch einen Mitarbeiter reduziert werden.

Welche rechtlichen Konsequenzen könnten auftreten, wenn die KI Anomalien und Fehler in Gehaltsabrechnungen übersieht oder falsch bewertet?

Denkbar sind zum einen vertragliche Schadensersatzansprüche. Zum Beispiel die eines benachteiligten Mitarbeiters gegen das Unternehmen, welches das KI-Tool einsetzt. Das Unternehmen wiederum wird versuchen, Ansprüche gegen den Anbieter der KI geltend machen.

Daneben könnten Pflichten des AI Act relevant sein, wenn es sich um eine KI-Anwendung mit hohem Risiko handelt. Das wiederum hängt von der genauen Ausgestaltung der Anwendung ab. Bei einer Hochrisiko-KI hat das Unternehmen als Betreiber der KI z.B. Meldepflichten bei derartigen Vorfällen.

Der Anbieter wiederum könnte gegen die Pflichten nach dem AI Act verstoßen haben, wenn dieser Fehler kein Einzelfall ist, sondern in der KI technisch „angelegt ist“ oder der Anbieter z.B. Überwachungspflichten verletzt hat.

Welche rechtlichen Herausforderungen könnten entstehen, wenn die Schichtplanung und Aufgabenzuweisung durch KI-basierte Systeme zu ungleichen oder unfairen Arbeitsbedingungen führt, und welche Maßnahmen zur menschlichen Aufsicht sind erforderlich?

Da es sich bei einer solchen KI um eine KI mit hohem Risiko handeln dürfte, treffen das Unternehmen als Betreiber der KI auch in diesem Fall Meldepflichten.

Zudem könnte der benachteiligte Mitarbeiter Ansprüche geltend machen. Ähnlich wie bei einem Fehler bei der Gehaltsabrechnung ist einem benachteiligten Mitarbeiter gegenüber unmittelbar das Unternehmen verantwortlich, welches das KI-System einsetzt. Dieser Mitarbeiter kann sich auf den allgemeinen Gleichheitsgrundsatz berufen und Gleichstellung verlangen. Noch problematischer wird es, wenn die Ungleichbehandlung durch die KI eine Diskriminierung nach dem Allgemeinen Gleichbehandlungsgesetz (AGG) darstellt. Beispielweise könnte die KI jüngere Mitarbeiter bei der Schichtplanung gegenüber solchen kurz vor dem Renteneintritt bevorzugen, um die Mitarbeiterbindung zu fördern. Die Folge wären Schadensersatzansprüche der benachteiligten Mitarbeiter gegen das Unternehmen. Erst im Anschluss könnte das Unternehmen wiederum versuchen, Schadensersatzansprüche gegen den Anbieter der KI geltend zu machen.

Bei der Frage der Verantwortlichkeit kann jedoch auch eine Rolle spielen, ob das Unternehmen für eine ausreichend menschliche Aufsicht über das KI-System gesorgt hat. Wie bereits erwähnt, verlangt der AI Act von Betreibern von KI-Systemen, dass einer oder mehrere Mitarbeiter die KI beaufsichtigen und dass dieses Personal über ausreichend KI-Kenntnisse verfügt. Jedes Unternehmen, das KI-Systeme einsetzt, sollte sich also um eine ausreichende Schulung der mit der KI befassten Mitarbeiter kümmern.

Welche rechtlichen Risiken bestehen, wenn Mitarbeiter der HR-Abteilung Chatbots wie ChatGPT oder Copilot verwenden?

Arbeitnehmer setzen bereits heute schon oft solche Chatbots ein, um sich die Arbeit zu erleichtern. In vielen Fällen dürfte das ohne Kenntnis des Arbeitsgebers geschehen. Wenn die Mitarbeiter dadurch effizienter arbeiten können, spricht aus Unternehmenssicht auch einiges dafür, die Verwendung von ChatGPT und Co. nicht pauschal zu verbieten. Die Verwendung dieser Chatbot muss jedoch rechtskonform erfolgen. Insbesondere dürfen die Mitarbeiter nicht gegen Datenschutzrecht, Schutz- oder Urheberrechte und Geschäftsgeheimnisse verstoßen. Diese Pflichten geltend bereits jetzt. Es ist also zu empfehlen mittels Schulungen und/oder internen Richtlinien klar aufzuzeigen, wie diese Chatbots verwendet werden dürfen und wie nicht. 

Welche Datenschutz- und Sicherheitsanforderungen gelten für KI-gesteuerte Chatbots, die Mitarbeiteranfragen zur Gehaltsabrechnung bearbeiten, und wie stellen HR-Abteilungen die erforderliche Transparenz gemäß EU AI Act sicher?

Reine unternehmensinterne KI-Chatbots werden in der Regel nicht der Kategorie KI-Systeme mit hohem Risiko zugeordnet. Dennoch gibt es Transparenzpflichten nach dem AI Act. So muss für jeden Verwender des Chatbots ersichtlich sein, dass er mit einer KI kommuniziert und nicht mit einem Menschen. Dies kann z.B. durch einen einfachen Disclaimer in der Benutzungsoberfläche erreicht werden.

Weiterhin muss von jedem Verwender die Einwilligung zur Verarbeitung seiner personenbezogenen Daten eingeholt werden. Dies kann ebenfalls im Chatbot selbst integriert werden. Natürlich gelten für die HR-Abteilungen auch weiterhin die datenschutzrechtlichen Grundsätze wie z.B. Schutz der personenbezogenen Daten vor unbefugtem Zugriff und Minimierung der Datenerhebung. Der Grundsatz der Datenminimierung bedeutet in dem Zusammenhang, dass durch den Einsatz von KI nicht zusätzliche personenbezogene Daten gespeichert werden sollten, nur weil es mit KI-Anwendungen nun möglich ist.

Welche rechtlichen Risiken bestehen beim Einsatz von KI zur Automatisierung von Recruiting- und Onboarding-Prozessen, insbesondere im Hinblick auf die Erfassung und Verarbeitung sensibler persönlicher Daten neuer Mitarbeiter?

Für KI-Systeme im Recruiting und Onboarding betrachtet man die rechtlichen Risiken am besten getrennt.

Automatisierungen im Recruiting-Prozess durch KI, z.B. das Auswerten und Vorfiltern von Lebensläufen, ist ein typisches Beispiel für ein KI-System mit hohem Risiko, weil es über den Zugang von Bewerbern zum Arbeitsmarkt (mit-)entscheidet. Somit bestehen für das Unternehmen, welches ein solches KI-System einsetzt, zukünftig die Pflichten für Betreiber von Hochrisiko-KI aus dem AI Act. Zudem sind kann es natürlich auch im Bewerbungsprozess zu Diskriminierungen durch KI kommen, was wiederum ebenfalls Schadensersatzansprüche auslösen könnte.

Außerdem gelten schon jetzt Regelungen aus dem Datenschutzrecht für diese KI-Systeme. Neben allgemeinen Bestimmungen zum Schutz von personenbezogenen Daten, geltend für derartige automatisierte KI-Entscheidungen über Personen noch zusätzliche, engere Voraussetzungen, die das Unternehmen eingehalten muss. Anderenfalls drohen datenschutzrechtliche Sanktionen.

Eine KI, die im Onboarding-Prozess eingesetzt wird, läuft deutlich weniger Gefahr als KI-System mit hohem Risiko eingestuft zu werden oder Mitarbeiter zu diskriminieren. Aber es kommt letztlich immer auf die genaue Funktionsweise der KI an. Grob kann man sich an der Richtlinie orientieren, dass die rechtlichen Pflichten und Risiken desto geringer sind, je weniger Einfluss die KI auf die Arbeitsbedingungen von Mitarbeitern nehmen kann.

Lieber Bengt, vielen Dank für das Gespräch!