KI-Verordnung

Nach dem die Europäische Kommission im April 2021 ihren Gesetzesentwurf einer Verordnung für Künstliche Intelligenz (KI) vorgelegt hat, hat nun der Ministerrat am 6. Dezember seinen gemeinsamen Standpunkt ("allgemeine Ausrichtung") für das Gesetzesvorhaben verabschiedet. Die EU-Politik will damit sichere und legale KI im gesamten Binnenmarkt fördern und verbreiten. Im Folgenden soll über den aktuellen Stand des Gesetzgebungsprozesses informiert werden. Dazu werden wesentliche Unterschiede zwischen den Beteiligten des Verfahrens herausgearbeitet. Schließlich wird ein Vergleich mit dem US-Gesetzesentwurf vorgenommen. 

Der Vorschlag des Ministerrates lässt das Grundgerüst des Kommissionsentwurfs unberührt. Dennoch werden zahlreiche Änderungen vorgeschlagen. Eine wesentliche Änderung betrifft die Definition von KI-Systemen. Eine Vielzahl der Mitgliedsstaaten haben Bedenken, dass die Definition eines KI-Systems des Kommissionsentwurfs zu weit gefasst ist und keine klaren Kriterien für die Unterscheidung zwischen KI und klassischen Softwaresystemen enthält. In Folge könnte man gar von einer Software-Verordnung sprechen. Viel zu viele Systeme würden danach unter diese Definition der Kommission fallen, so die Kritiker in einigen Mitgliedsstaaten.

Der Rat schlägt aus diesem Grund eine neue Definition vor. Sie sollte sich auf Systeme beschränken, die durch maschinelle Lerntechniken und wissensbasierte Ansätze entwickelt werden. Zusätzlich wird das sogenannte Autonomiekonzeption in die Definition aufgenommen. So sollen beispielsweise für Forschungs- und Entwicklungstätigkeiten KI-Systeme für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung aus dem Anwendungsbereich der Verordnung ausgenommen werden. 

Eine weitere wesentliche Änderung betrifft die Klassifizierung der KI-Systeme. In Anhang III sind die KI-Systeme aufgelistet, die als "Hochrisiko-KI-Systeme" identifiziert werden. Die Kommission verfolgt einen risikobasierten Ansatz. Hochrisiko-Systeme werden strengen Regelungen unterworfen. Der Pflichtkatalog stellt auf eine produktsicherheitsrechtlich ausgerichtete Konformitätsbewertung anhand technischer Maßgaben ab. Der Ministerrat stuft eine Anwendung mit solchen unannehmbaren Risiken dann ein, wenn die Ergebnisse des Systems im Hinblick auf die zu treffende Maßnahme oder Entscheidung nicht rein nebensächlich sind und deshalb zu einem erheblichen Risiko für die Gesundheit, die Sicherheit oder die Grundrechte betroffener Personen führen können. Was die Einstufung von KI-Systemen als risikoreich angeht, so fügt der Text eine horizontale Ebene über der Einstufung als risikoreich hinzu. Diese Ergänzung soll sicherzustellen, dass KI-Systeme, die wahrscheinlich keine schwerwiegenden Grundrechtsverletzungen oder andere erhebliche Risiken verursachen, nicht erfasst werden. Streichungen wird es beispielsweise in den Bereichen Versicherung, biometrische Kategorisierung, Umweltschutz und Aufdeckung von Fälschungen geben, so der Vorschlag des Ministerrates.

Viele der Anforderungen an KI-Systeme mit hohem Risiko werden klarer gefasst. Damit soll eine bessere technische Umsetzung gewährleisten, zum Beispiel in Bezug auf die Qualität der Daten oder die technische Dokumentation, die von kleinen und mittleren Unternehmen erstellt werden. KI-Systeme werden häufig über komplexe Wertschöpfungsketten entwickelt und vertrieben. Der Rat schlägt Änderungen vor, die die Verteilung der Verantwortlichkeiten und Rollen der verschiedenen Akteure in diesen Ketten besser adressieren. Außerdem wird das Verhältnis zwischen den Zuständigkeiten im Rahmen des KI-Gesetzes und den Zuständigkeiten geklärt, die bereits im Rahmen anderer Rechtsvorschriften bestehen. Das betrifft beispielsweise die EU-Datenschutzvorschriften oder sektorale Rechtsvorschriften.

Der Text enthält außerdem einige Änderungen, die die Transparenz in Bezug auf den Einsatz von risikoreichen KI-Systemen verbessern sollen. Handelt es sich um öffentliche Einrichtungen, die KI-Systemen mit hohem Risiko einsetzen, sind diese auch aufgefordert, sich in der EU-Datenbank für KI-Systeme mit hohem Risiko zu registrieren zu lassen.

Parlament steht erst am Anfang

Im EU-Parlament ist die Diskussion zur KI-Verordnung noch nicht abgeschlossen. Die erste Plenardebatte fand im Oktober statt. Am Anfang standen vor allem technische Aspekte der Verordnung im Vordergrund. Die Parlamentarier fanden bisher Konsens zu Themen wir Verfahrensvorschriften, Konformitätsbewertung, Standards und Zertifikaten sowie bestimmte Verpflichtungen für den Einsatz von Hochrisiko-Systemen. 

Weitaus strittiger sind die Positionen zum Anwendungsbereich der KI-Verordnung oder dem Einsatz von biometrischen Erkennungssystemen. Hier lassen sich bisher nur die Diskussionsstränge skizzieren. Einer der strittigen Punkte sind die biometrischen Erkennungssysteme, wo einen klaren Dissens zwischen Rat und Parlament gibt. Die Kommission sieht vor, Echtzeit-Fernerkennungssysteme im öffentlichen Raum zur biometrischen Identifizierung von Personen zu verbieten, wenn es um Strafverfolgung geht. Das Verbot schließt einige Ausnahmen ein, etwa für die Abwehr von unmittelbaren Bedrohungen wie Terroranschlägen. Einige Parlamentarier befürchten eine generelle Überwachung der Bevölkerung. Die Berichterstatter werden daher ein umfassendes Verbot vorschlagen, was im Wesentlichen den Positionen der Zivilgesellschaft entspricht. Für den Ministerrat ist maßgeblich, für welche Ziele ein solcher Einsatz für Strafverfolgungszwecke unbedingt erforderlich ist und für welche Strafverfolgungsbehörden daher ausnahmsweise der Einsatz solcher Systeme zulässig sein sollte. 

Mit Blick auf die KI-Definition sollte diese eher eng gefasst sein. Ähnlich zur Einschätzung des Rats würde eine zu weit gefasste Definition zu Überschneidungen mit bestehenden Rechtsvorschriften führen. Damit würde praktisch jede Software reguliert. Nur eine enge Definition kann eine wirksamer Regulierungsansatz sein, so ein Berichterstatter. Andere prognostizieren bei einer zu engen Definition Rechtsunsicherheit. Hochrisiko-Systemen werden aus Sicht einiger Parlamentarier in Systemen vermutet, die sich auf die Beschäftigung, das Kreditwesen und die Gesundheitsversorgung auswirken. 

In Bezug auf die Definition und Messung der der KI-Verordnung zugrunde liegenden Risikopyramide steht man erst am Anfang. Die Kommission hat in ihrem Gesetzesvorschlag Grundrechte und Verbraucherschutzpflichten oder auch Produktsicherheit zusammengeführt. Diese Verbindung kann problematisch sein: KI-betriebene Aufzüge werden beispielsweise als Hochrisiko-Systeme kategorisiert, obwohl sie für die grundlegenden Menschenrechte kein hohes Risiko darstellen würden. 

Ein Schlüsselelement für die Durchsetzung des KI-Gesetzes ist die Verwendung von regulatorischen "Sandkästen". Hier gibt es die Vorstellung, dass jeder Mitgliedstaat mindestens einen Sandkasten haben sollte. Darüber hinaus könne es Sandkästen auf EU-, regionaler, einzelstaatlicher und kommunaler Ebene geben. Dies gilt in Abhängigkeit davon, welches System getestet wird.

Einige Abgeordnete sorgen sich, dass die KI-Gesetzgebung in Kraft tritt, ohne dass es einen allgemein anerkannten globalen Standard. Die Anwender werden nach Inkrafttreten des Gesetzes drei Jahre Zeit haben, die Anforderungen des KI-Gesetzes umzusetzen. Dabei ist nicht zu vergessen, dass im Rahmen der EU-Digitalstrategie weitere Vorschriften wie der Digital Markets Act, Digital Governance Act, Digital Services Act und Data Act in Kraft treten.

Europäische KI-Verordnung vs. US Algorithmic Accountability Act

Ähnlich wie bei der Datenschutzrichtlinie ist die EU von der Idee beseelt, einen globalen KI-Standard für die ganze Welt zu kreieren. Hier lohnt ein Blick auf das Gesetzesvorhaben in den USA. Seit Februar 2022 liegt der Entwurf des "Algorithmic Accountability Act of 2022" vor. Der Gesetzentwurf befasst sich mit den zunehmenden Bedenken der Öffentlichkeit gegenüber dem weit verbreiteten Einsatz automatisierter Entscheidungssysteme. Es wird vorgeschlagen, dass Organisationen, die solche Systeme einsetzen, mehrere konkrete Schritte unternehmen müssen, um die sozialen, ethischen und rechtlichen Risiken zu ermitteln und zu mindern. Die Ähnlichkeiten zwischen den beiden Gesetzentwürfen in der EU und den USA sind jedoch nur scheinbar. Mit dem EU-Entwurf wird versucht, Regeln für die Nutzung von automatisierten Entscheidungssystemen festzulegen und Details darüber zu liefern, wie diese durchgesetzt werden sollen. Im Vergleich dazu verfolgt der US-Entwurf einen relativ einfachen Ansatz. Er definiert wichtige Begriffe und legt Anforderungen fest, die Besitzer von automatisierten Entscheidungssystemen erfüllen müssen. 

Beide Entwürfe haben aber auch Gemeinsamkeiten. So zielt beispielsweise keines der beiden Gesetze darauf ab, die Verwendung von automatisierten Entscheidungssystemen zu verbieten oder einzuschränken. Stattdessen beabsichtigen beide Gesetze, die notwendige staatliche Infrastruktur zu schaffen, um einerseits Akteure bei Verstößen zur Rechenschaft zu ziehen. Und andererseits soll es Akteuren mit guten Absichten ermöglicht werden, automatisierte Entscheidungssysteme ethisch, legal und sicher anzuwenden. Zu diesem Zweck verlangt der US-Entwurf, dass Organisationen Folgenabschätzungen für vor dem Einsatz und erweiterte Entscheidungsprozesse nach dem Einsatz von automatisierte Entscheidungssystemen durchführen. Dieser zweigleisige Ansatz spiegelt die Konformitätsbewertungen und die Pläne zur Überwachung nach Anwendungsbeginn wider, die im EU-Entwurf vorgeschrieben sind. Die Einbeziehung von Ex-ante- und Ex-post-Bewertungen ist nachvollziehbar, denn automatisierte Entscheidungssysteme können sich im Zeitablauf weiterentwickeln. Wie alle Governance-Mechanismen haben jedoch auch Folgenabschätzungen ihre Grenzen. Daher ist es nachzuvollziehen, dass in beiden Dokumenten der Schwerpunkt auf die Ordnungsmäßigkeit und Transparenz der Verfahren gelegt wird. 

Der Vorteil des US-Gesetzes ist, dass es im Sinne von automatisierten Entscheidungssystemen und nicht im Sinne des populäreren Begriffs "KI-Systeme" wie die EU-Gesetzgebung angelegt ist. Der Begriff "automatisierte Entscheidungssysteme" erfasst die technischen Merkmale besser, die auf der heterogenen Mischung aus maschinellen Lernalgorithmen beruhen. Das US-Gesetz fokussiert sich auf "kritische Entscheidungsprozesse". Es regelt nicht, was ein "hochriskantes KI-System" ist. Der Automatisierungsgrad von Entscheidungsprozessen lässt sich auf diese Weise am besten als Gradunterschied auf einem breiten Spektrum interpretieren. Die Terminologie im Gesetz ist kohärent mit ihrem Regelungsziel. 

Ein weiterer Vorteil betrifft die Abgrenzung des Anwendungsbereichs. Die Transparenzverpflichtungen gelten für Unternehmen, die automatisierte Entscheidungssysteme einsetzen, um kritische Entscheidungen zu treffen und damit erhebliche rechtliche oder materielle Auswirkungen auf das Leben eines Verbrauchers hat. Im Gegensatz dazu verlangt der Kommissionsentwurf nur für die "Hochrisiko-Systeme" eine Konformitätsbewertung. Auch damit wird die nicht einfache Frage vermieden, was ein "KI-System" ist. Die kontroversen Diskussionen im Rat und Parlament zeigen, wie schwierig diese Frage zu beantworten ist. Stattdessen konzentriert sich der US-Gesetzgeber darauf, diejenigen Entscheidungsprozesse zu identifizieren, die zusätzliche Ebenen der öffentlichen Aufsicht erfordern. Dies scheint die bessere Lösung – auch für die EU zu sein.

Generell führt das US-Gesetz einen Maßstab für die ethische und rechtliche Bewertung ein. Dieser Maßstab verlangt von den Unternehmen, die Leistung eines neuen automatisierten Entscheidungssystems mit der Leistung der bereits bestehenden Entscheidungsprozesse zu vergleichen. Dieser Vergleich ist sinnvoll. Sowohl menschliche Entscheidungsträger als auch automatisierte Entscheidungssysteme haben ihre eigenen Stärken und Schwächen. Die mit automatisierten Entscheidungssystemen verbundenen Risiken sind bekannt und umfassen Verletzungen der Privatsphäre und diskriminierende Ergebnisse. Daher ist die Anforderung richtig, im Fall des Einsatzes von neuen automatisierten Entscheidungssystemen von den Unternehmen zu verlangen, "den bestehenden Entscheidungsfindungsprozess zu beschreiben" und "die beabsichtigten Vorteile einer Erweiterung (dieses Prozesses) zu erklären".

Schließlich ist im Unterschied zum EU-Gesetz hervorzuheben, dass die Anforderungen nur für große Unternehmen gelten, die entweder einen Jahresumsatz von mehr als 50 Millionen Dollar haben, einen Eigenkapitalwert von mehr als 250 Millionen Dollar aufweisen oder die Daten von mehr als einer Million Nutzern verarbeiten. Dazu ist das US-Gesetz viel weniger spezifisch als die EU-Verordnung. Insofern lassen sich beide Gesetze nur schwer miteinander vergleichen. Es kommt vor allem darauf an, verschiedene globale Standards anzuerkennen. Am Ende wird es unterschiedliche Normen geben. Maßgeblich sind die zugrunde liegenden Grundsätze.

Wie es weitergeht

Die rege Beteiligung der EU-Parlamentarier am Gesetzgebungsverfahren – von 3.300 Änderungsanträgen ist die Rede – hat dazu geführt, dass sich die Zeitplan nach hinten verschiebt. Da der Gesetzgeber mit einer solchen horizontalen Regulierung Neuland betritt, kann es hier auch nicht um Schnelligkeit gehen. Ziel muss es sein, Regelungslücken aus dem Kommissionsentwurf zu schließen und ein Gesetz zu verabschieden, dass in der Praxis wirksam ist. 

Es ist damit zu rechnen, dass das Plenum bis Ende März 2023 abstimmen wird. Dabei ist zu beachten, dass es noch kontroverse Punkte innerhalb des Parlaments zu lösen gilt. Anschließend kommt der Trilog, wo EU-Kommission, EU-Parlament und Rat sich untereinander einig werden müssen. Eigentlich muss das Gesetz bis Ende 2023 fertig sein, denn die nächsten Parlamentswahlen finden im Mai 2024 statt.