Ein Jahr AI Act – was Unternehmen jetzt zu beachten haben

Der AI-Act der Europäischen Union („AIA“) trat am 2. August 2024 in Kraft und feierte somit kürzlich seinen 1. Geburtstag. Die meisten Bestimmungen gelten zwar erst ab dem 2. August 2026, einige Teile treten jedoch bereits früher in Kraft. Seit 2. Februar 2025 sind bereits die Kapitel I (Allgemeine Bestimmungen) und II (Verbotene Praktiken) beachtlich. Zur Anwendung kommt der AIA bei allen Wirtschaftsakteuren im öffentlichen und privaten Sektor.

1. Allgemeine Schulungspflicht bei Einsatz von KI-Systemen

Gemäß Art. 4 des AIA besteht für Betreiber von KI-Systemen eine verbindliche Schulung des eingesetzten Personals. Ein KI-System im Sinne des AIA ist ein maschinengestütztes System, das für einen in unterschiedlichem Maße autonomen Betrieb ausgelegt ist, sich nach Inbetriebnahme anpassen kann und aus erhaltenen Eingaben ableitet, wie es zur Erreichung expliziter oder impliziter Ziele Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generiert, welche physische oder virtuelle Umgebungen beeinflussen können. Unter den Begriff fallen sowohl einfachere KI-Anwendungen (z. B. KI-gestützte Suchmaschinenfunktionen), Large Language Models (etwa ChatGPT) als auch komplexe virtuelle Assistenzsysteme. Betreiber im Sinne des AIA ist jedes Unternehmen, das ein KI-System im Rahmen der beruflichen Tätigkeit nutzt. In diesem Fall ist sicherzustellen, dass alle mit Betrieb und Nutzung befassten Mitarbeiter über ein „ausreichendes Maß an KI-Kompetenz“ verfügen.
Der Begriff „KI-Kompetenz“ umfasst technische, rechtliche und ethische Kenntnisse, ein entsprechendes Risikobewusstsein sowie die Fähigkeit zur praktischen Anwendung. Der Umfang der erforderlichen Kompetenz richtet sich nach dem konkreten Tätigkeitsbereich, dem Einsatzkontext des Systems sowie der Qualifikation des jeweiligen Mitarbeiters.

2. Verbotene Praktiken

Bereits in Kraft befindliche Vorschriften des AIA hinsichtlich „verbotener Praktiken“ untersagen den Einsatz von KI-Systemen, wenn dieser auf Schädigung oder Benachteiligung von Personen oder Personengruppen abzielt oder eine solche bewirken könnte. Verboten sind insbesondere:
• Beeinflussung oder Manipulation des Verhaltens von Personen,
• Einstufung nach sozialem Verhalten oder anhand abgeleiteter bzw. prognostizierter per-sönlicher Eigenschaften oder Persönlichkeitsmerkmale,
• Profiling zu nicht zulässigen Zwecken,
• Gesichtserkennung zu nicht genehmigten Zwecken,
• Erfassung oder Ableitung emotionaler Zustände am Arbeitsplatz.

3. Der Einsatz von Hochrisiko-KI-Systemen

Kapitel III des AIA (noch nicht in Kraft) regelt den Einsatz sogenannter Hochrisiko-KI-Systeme. Darunter fallen ua. KI-Modelle, die in den Bereichen der Zugänglichkeit und Inanspruchnahme grundlegender privater und grundlegender öffentlicher Dienste und Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle und Rechtspflege sowie demokratischer Prozesse eingesetzt werden, KI-Systeme im Bereich der Biometrie, KI-Systeme im Bereich der kritischen digitalen Infrastruktur sowie im Straßenverkehr, Wasser-, Gas-, Wärme- oder Stromversorgung, KI-Systeme zur Feststellung des Zugangs zu allgemeiner und beruflicher Bildung, für die Bewertung von Lernergebnissen und die Bewertung des angemessenen Bildungsniveaus oder der Einsatz gewisser KI-Systeme im Bereich Personalmanagement:
Diesbezüglich werden explizit KI-Systeme erfasst, die für die Einstellung oder Auswahl natürlicher Personen eingesetzt werden, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten (insb. „Profiling“). Auch solche Systeme, die Entscheidungen über Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen, die auf individuellem Verhalten oder persönlicher Merkmale oder Eigenschaften oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen beruhen, gelten als Hochrisiko-KI-Systeme.
Beim Einsatz von Hochrisiko-KI-Systemen sind insbesondere einzuhalten:
• Einrichtung eines Risikomanagementsystems gemäß Art. 9 AIA,
• Data Governance-Anforderungen (Art. 10 AIA),
• Dokumentations- und Aufzeichnungspflichten (Art. 11, 12 AIA),
• Sicherstellung menschlicher Überwachung (Art. 14 AIA),
• Gewährleistung von Genauigkeit, Robustheit und Cybersicherheit (Art. 15 AIA).

4. Transparenzpflichten bei Interaktion mit natürlichen Personen

Für KI-Systeme, die zur direkten Interaktion mit natürlichen Personen bestimmt sind (z. B. Chatbots), gilt eine besondere Transparenzpflicht gemäß Art. 50 AIA. Es ist sicherzustellen, dass betroffene Personen darüber informiert werden, dass sie mit einem KI-System interagieren, und dass KI-generierte Inhalte eindeutig als solche kenntlich gemacht werden.

5. Strafbestimmungen

Der AIA sieht bei Verstößen gegen seine Bestimmungen wirksame, verhältnismäßige und abschreckende Sanktionen vor:
• Bei Verstößen gegen Art. 5 (verbotene Praktiken): Geldbußen bis zu 35 Mio. EUR oder 7 % des weltweiten Vorjahresumsatzes,
• Bei Verstößen gegen Vorschriften zu Hochrisiko-KI-Systemen, Transparenzpflichten oder Anforderungen an KI-Modellanbieter: Geldbußen bis zu 15 Mio. EUR oder 3 % des weltweiten Vorjahresumsatzes,
• Bei falschen, unvollständigen oder irreführenden Angaben gegenüber Behörden: Geld-bußen bis zu 7,5 Mio. EUR oder 1,5 % des weltweiten Vorjahresumsatzes.

6. Handlungsanleitung für Unternehmen

1. Durchführung einer Bestandsaufnahme der im Unternehmen eingesetzten KI-Systeme,
2. Organisation und Dokumentation geeigneter Mitarbeiterschulungen zur Nutzung der eingesetzten Systeme,
3. Erstellung einer unternehmensinternen Richtlinie, die Einsatzbereiche, Rahmenbedingungen und einzuhaltende Vorgaben für den KI-Einsatz festlegt,
4. Überprüfung der Einhaltung bestehender Transparenzpflichten (insbesondere bei KI-generierten Bildern, Texten, Videos und Chatbots),
5. Bei geplantem oder bestehendem Einsatz von Hochrisiko-KI-Systemen: Umsetzung der einschlägigen gesetzlichen Anforderungen und Implementierung eines Risikomanagementsystems.

Unser Expertenteam berät Sie jederzeit gerne bei Fragen zum Thema und bei weiteren rechtlichen Angelegenheiten!