Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung bestimmter Rechtsakte der Union
EUR-Lex – 52021PC0206 – DE – EUR-Lex (europa.eu)
EUROPÄISCHE KOMMISSION
Brüssel, den 21.4.2021
Im April 2021 legte die EU-Kommission dann einen Legislativvorschlag für einen abgestimmten EU-Ansatz zu den menschlichen und ethischen Aspekten der KI vor.
Die Europäische Union hat sich zum Ziel gesetzt, bei der Entwicklung einer sichereren, zuverlässigeren und ethischeren KI weltweit eine Führungsrolle zu übernehmen; das Europäische Parlament fordert ausdrücklich den Schutz ethischer Grundsätze.
Schädliche KI-Praktiken und Hochrisiko-KI-Systeme
Schädliche KI-Praktiken, die gegen die Werte der Union verstoßen, sind verboten.
Für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme im Bereich der Strafverfolgung werden konkrete Beschränkungen und Sicherheitsmaßnahmen vorgeschlagen.
Hochrisiko-KI-Systeme sind Systeme, die erhebliche Risiken für die Gesundheit und Sicherheit oder die Grundrechte von Personen darstellen.
Hochrisiko-KI-Systeme müssen die horizontalen Anforderungen an vertrauenswürdige KI erfüllen und Konformitätsbewertungsverfahren durchlaufen, bevor sie in der Union in Verkehr gebracht werden dürfen. Anbieter und Nutzer von Hochrisiko-KI-Systemen sollen vorhersehbaren, verhältnismäßigen und klaren Verpflichtungen unterliegen. Hochrisiko-KI-Systeme erfordern eine hohe Datenqualität, Dokumentation und Rückverfolgbarkeit, Transparenz, menschliche Aufsicht, Genauigkeit und Robustheit.
Für den Einsatz von Chatbots oder „Deepfakes“ werden nur minimale Transparenzpflichten vorgeschlagen.
Überwachungsmodalitäten
Die Europäische Kommission soll die Auswirkungen der vorgeschlagenen Bestimmungen überwachen, eine unionsweite öffentliche Datenbank zur Registrierung von Hochrisiko-KI-Anwendungen einrichten, um Hochrisiko-KI-Systeme zu kontrollieren und zu überwachen.
KI-Anbieter sollen verpflichtet werden, bei der Registrierung in dieser Datenbank aussagekräftige Informationen über ihre Systeme und die durchgeführte Konformitätsbewertung bereitzustellen und die zuständigen nationalen Behörden zu informieren, sobald ihnen schwerwiegende Vorfälle oder Fehlfunktionen bekannt werden.
Die nationalen Behörden sind verpflichtet, schwerwiegende Vorkommnisse oder Störungen zu untersuchen, alle erforderlichen Informationen zu sammeln und diese der Kommission zu übermitteln.
Geltungsbereich der Verordnung
Diese Verordnung gilt für Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, für Nutzer von KI-Systemen, die in der Union niedergelassen sind, sowie für Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das Ergebnis in der Union genutzt wird.
Diese Verordnung gilt nicht für ausschließlich für militärische Zwecke entwickelte oder genutzte Systeme künstlicher Intelligenz, Behörden von Drittländern und internationale Organisationen, soweit diese Behörden oder Organisationen künstliche Intelligenz im Rahmen internationaler Vereinbarungen über die polizeiliche und justizielle Zusammenarbeit mit der Union oder einem oder mehreren Mitgliedstaaten nutzen.
Verbote von KI-Systemen
Es ist verboten, KI-Systeme in Verkehr zu bringen, in Betrieb zu nehmen oder zu verwenden, die Techniken der unterschwelligen Beeinflussung zu verwenden. Ebenso verboten ist das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die die Schwäche oder Verletzlichkeit einer bestimmten Personengruppe aufgrund ihres Alters oder einer körperlichen oder geistigen Behinderung ausnutzen. Verboten ist auch der Einsatz von KI-Systemen durch Behörden oder in deren Auftrag, um die Vertrauenswürdigkeit natürlicher Personen anhand ihres sozialen Verhaltens oder bekannter oder prognostizierter persönlicher Eigenschaften zu bewerten oder einzustufen.
Der Einsatz von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Zwecken der Strafverfolgung ist grundsätzlich verboten. Es gibt jedoch Ausnahmen: Bei der gezielten Suche nach bestimmten potentiellen Opfern von Straftaten oder nach vermissten Kindern, zur Abwehr einer Gefahr für Menschen oder zur Abwehr eines terroristischen Anschlags oder zur Ermittlung, Auffindung, Identifizierung oder Verfolgung eines Täters oder eines Verdächtigen einer Straftat, die mit einer Freiheitsstrafe im Höchstmaß von mindestens drei Jahren bedroht ist. Jeder einzelne Einsatz eines biometrischen Echtzeit-Fernidentifizierungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken bedarf der vorherigen Genehmigung.
Definition von Hochrisiko-KI-Systemen
Hochrisiko-KI-Systeme sind KI-Systeme, die bestimmungsgemäß für die biometrische Echtzeit-Fernidentifizierung natürlicher Personen, als Sicherheitskomponenten in der Verwaltung und im Betrieb des Straßenverkehrs sowie in der Wasser-, Gas-, Wärme- und Stromversorgung eingesetzt werden sollen.
KI-Systeme, die bestimmungsgemäß für Entscheidungen über den Zugang natürlicher Personen zu Bildungs- und Ausbildungseinrichtungen, für die Bewertung von Schülern in Bildungs- und Ausbildungseinrichtungen und für die Bewertung von Teilnehmern an vorgeschriebenen Prüfungen verwendet werden sollen, gelten ebenfalls als Hochrisiko-KI-Systeme.
Daneben gelten KI-Systeme als Hochrisiko-KI-Systeme, wenn sie bestimmungsgemäß für die Einstellung oder Auswahl von natürlichen Personen und für die Bewertung von Bewerbern in Vorstellungsgesprächen oder Tests eingesetzt werden sollen, wenn die Systeme eingesetzt werden sollen, um über Beförderungen oder Entlassungen zu entscheiden, oder um die Leistung und das Verhalten von Personen zu überwachen und zu bewerten.
Weiterhin gelten KI-Systeme als Hochrisiko-KI-Systeme, wenn sie von Behörden eingesetzt zu werden, um zu bewerten, ob natürlichen Personen öffentliche Unterstützung und Dienstleistungen gewährt werden, um die Kreditwürdigkeit natürlicher Personen zu bewerten, um Notfall- und Rettungsdienste, einschließlich der Feuerwehr und medizinischer Notfalldienste, zu entsenden oder deren Einsatz zu priorisieren.
KI-Systeme gelten auch als Hochrisiko-KI-Systeme, wenn sie bestimmungsgemäß von Strafverfolgungsbehörden eingesetzt werden sollen: für individuelle Risikobewertungen natürlicher Personen, als Lügendetektor oder zur Feststellung des emotionalen Zustands einer natürlichen Person, zur Aufdeckung von Deepfakes, zur Bewertung der Zuverlässigkeit von Beweismitteln, zur Vorhersage des Auftretens einer Straftat auf der Grundlage des Profils, der Persönlichkeitsmerkmale und Eigenschaften oder des bisherigen kriminellen Verhaltens natürlicher Personen, zur Erstellung von Profilen und zur Kriminalitätsanalyse natürlicher Personen.
Als Hochrisiko-KI-Systeme gelten außerdem KI-Systeme, die dazu dienen sollen, von den zuständigen Behörden eingesetzt zu werden: Als Lügendetektoren oder zur Feststellung des emotionalen Zustands einer natürlichen Person, zur Bewertung eines Risikos, einschließlich eines Sicherheitsrisikos, eines Risikos der irregulären Einwanderung oder eines Gesundheitsrisikos, das von einer natürlichen Person ausgeht, die in das Hoheitsgebiet eines Mitgliedstaats einreisen will oder eingereist ist, zur Überprüfung der Echtheit von Reisedokumenten und Identitätsnachweisen natürlicher Personen, zur Prüfung von Asyl- und Visumanträgen sowie von Aufenthaltstiteln und damit zusammenhängenden Beschwerden.
Außerdem sind Hochrisiko-KI-Systeme solche, deren bestimmungsgemäßer Zweck die Unterstützung von Justizbehörden bei der Ermittlung und Auslegung von Tatsachen und Rechtsvorschriften sowie bei der Anwendung des Rechts auf konkrete Sachverhalte ist.
Anforderungen an Hochrisiko-KI-Systeme
Risikomanagementsystem: Für Hochrisiko-KI-Systeme wird ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten.
Das Risikomanagementsystem ist ein Prozess während des gesamten Lebenszyklus eines KI-Systems, der eine regelmäßige systematische Aktualisierung erfordert. Dazu gehören Identifizierung und Analyse der bekannten und vorhersehbaren Risiken, die von jedem Hochrisiko-KI-System ausgehen; Abschätzung und Bewertung dieser Risiken; Abschätzung anderer Risiken und Ergreifen geeigneter Risikomanagementmaßnahmen. Diese Maßnahmen müssen dem allgemein anerkannten Stand der Technik entsprechen, und das Gesamtrestrisiko von Hochrisiko-KI-Systemen muss als akzeptabel bewertet und den Nutzern mitgeteilt werden können.
Die technischen Kenntnisse, die Erfahrung und der Ausbildungsstand der Anwender sowie die Umgebung, in der das System eingesetzt werden soll, sind gebührend zu berücksichtigen.
Prüfverfahren
Hochriskante KI-Systeme müssen getestet werden, um die am besten geeigneten Risikomanagementmaßnahmen zu ermitteln. Die Prüfverfahren müssen angemessen sein.
Die Prüfung erfolgt in jedem Fall vor dem Inverkehrbringen oder der Inbetriebnahme unter Verwendung vorab festgelegter Parameter, die der Zweckbestimmung des hochriskanten KI-Systems angemessen sind. Dabei ist insbesondere zu berücksichtigen, ob das KI-System mit hohem Risiko für Kinder zugänglich ist oder Auswirkungen auf Kinder haben kann.
Die Technische Dokumentation
Wird ein Hochrisiko-KI-System in Verkehr gebracht oder in Betrieb genommen, so ist eine einzige technische Dokumentation zu erstellen. Die technische Dokumentation eines Hochrisiko-KI-Systems wird vor dessen Inverkehrbringen oder Inbetriebnahme erstellt und ist stets auf dem neuesten Stand zu halten.
Sie muss mindestens eine allgemeine Beschreibung des KI-Systems, eine detaillierte Beschreibung der Bestandteile des KI-Systems und seiner Entwicklung, detaillierte Informationen über die Überwachung, den Betrieb und die Kontrolle des KI-Systems sowie eine Kopie der EU-Konformitätserklärung enthalten.
Protokollierung
Während des Betriebs von KI-Systemen mit hohem Risiko muss eine automatische Aufzeichnung von Vorgängen und Ereignissen erfolgen. Diese Protokollierung muss anerkannten Standards entsprechen und während des gesamten Lebenszyklus des KI-Systems in angemessenem Umfang nachvollziehbar sein. Darüber hinaus muss die Identität der natürlichen Personen, die an der Überprüfung der Ergebnisse beteiligt sind, aufgezeichnet werden.
Transparenz
Der Betrieb von Hochrisiko-KI-Systemen muss hinreichend transparent sein. KI-Systeme mit hohem Risiko müssen mit Betriebsanleitungen ausgestattet sein, die genaue, vollständige, korrekte und unmissverständliche Informationen in einer für die Benutzer relevanten, zugänglichen und verständlichen Form enthalten.
Menschliche Aufsicht
Hochrisiko-KI-Systeme sollten während ihrer gesamten Nutzungsdauer von Menschen wirksam beaufsichtigt werden können, um Risiken für die Gesundheit, die Sicherheit oder die Grundrechte zu vermeiden oder zu minimieren.
Die menschliche Aufsichtsperson muss fähig sein, die Fähigkeiten und Grenzen des Hochrisiko-KI-Systems vollständig zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen. Diese Person muss imstande sein, die Ergebnisse des KI-Systems mit hohem Risiko richtig zu interpretieren und in den Betrieb des KI-Systems mit hohem Risiko einzugreifen oder den Betrieb des Systems durch eine „Stopptaste“ oder ein ähnliches Verfahren zu unterbrechen.
Robustheit
Hochriskante KI-Systeme müssen robust gegenüber Fehlern, Ausfällen oder Unregelmäßigkeiten sein, die insbesondere aufgrund ihrer Interaktion mit Menschen oder anderen Systemen auftreten können, und widerstandsfähig gegenüber Versuchen unbefugter Dritter, ihre Verwendung oder Leistung durch Ausnutzung von Systemschwachstellen zu verändern.
Anbieter
Die Anbieter müssen angemessene Vorkehrungen zum Schutz der Grundrechte und Grundfreiheiten natürlicher Personen treffen, wozu auch technische Beschränkungen der Weiterverwendung und dem Stand der Technik entsprechende Sicherheits- und Datenschutzmaßnahmen wie Pseudonymisierung oder Verschlüsselung gehören.
Anbieter von Hochrisiko-KI-Systemen sind verpflichtet, sicherzustellen, dass ihre Hochrisiko-KI-Systeme über ein Qualitätsmanagementsystem verfügen und die technische Dokumentation des Hochrisiko-KI-Systems erstellen. Sie müssen die von ihren Hochrisiko-KI-Systemen automatisch generierten Protokolle aufbewahren und sicherstellen, dass das Hochrisiko-KI-System vor dem Inverkehrbringen oder der Inbetriebnahme dem entsprechenden Konformitätsbewertungsverfahren unterzogen worden ist. Die Anbieter sind verpflichtet, die Registrierungsanforderungen zu erfüllen, ihre Hochrisiko-KI-Systeme mit der CE-Kennzeichnung zu versehen und auf Verlangen einer zuständigen nationalen Behörde nachzuweisen, dass das Hochrisiko-KI-System die Anforderungen erfüllt.
Importeur
Bevor ein Importeur ein Hochrisiko-KI-System in Verkehr bringt, vergewissert er sich, dass der Anbieter des KI-Systems das entsprechende Konformitätsbewertungsverfahren durchgeführt und die technische Dokumentation erstellt hat. Ferner stellt der Einführer sicher, dass das System mit der erforderlichen Konformitätskennzeichnung versehen ist und dass ihm die erforderliche Dokumentation und Bedienungsanleitung beiliegen.
Der Name des Importeurs, sein eingetragener Handelsname oder seine eingetragene Handelsmarke und seine Kontaktanschrift sind auf dem Hochrisiko-KI-System selbst oder, falls dies nicht möglich ist, auf der Verpackung oder in der beigefügten Dokumentation anzugeben.
Händler
Vor dem Inverkehrbringen eines Hochrisiko-KI-Systems überprüfen die Händler, ob das Hochrisiko-KI-System mit der erforderlichen CE-Konformitätskennzeichnung versehen ist, ob ihm die erforderliche Dokumentation und Gebrauchsanweisung beigefügt sind und ob der Anbieter oder gegebenenfalls der Einführer des Systems den in dieser Verordnung festgelegten Verpflichtungen nachgekommen ist.
Transparenz
Natürliche Personen müssen darüber informiert werden, dass sie es mit einem KI-System zu tun haben. Dies gilt insbesondere, wenn ein System zur Erkennung von Emotionen oder ein biometrisches Kategorisierungssystem verwendet wird.
Der Nutzer eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die realen Personen, Gegenständen, Orten oder anderen Einrichtungen oder Ereignissen täuschend ähnlich sind und bei einer Person den Eindruck erwecken, sie seien echt oder real („deepfake“), muss darauf hinweisen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.
EU-Datenbank
Die Europäische Kommission wird in Zusammenarbeit mit den Mitgliedstaaten eine EU-Datenbank einrichten und unterhalten, in der Informationen über die registrierten Hochrisiko-KI-Systeme gespeichert werden. Die in der EU-Datenbank gespeicherten Daten sind öffentlich zugänglich.
Marktüberwachung
Die Anbieter sind verpflichtet, ein System zur Überwachung des Hochrisiko-KI-Systems nach dem Inverkehrbringen einzurichten und zu dokumentieren, das im Verhältnis zur Art der KI-Technik und zu den Risiken des Hochrisiko-KI-Systems steht. Das System zur Überwachung nach dem Inverkehrbringen muss auf einem geeigneten Plan beruhen, der Teil der technischen Dokumentation sein muss.
Eine nationale Aufsichtsbehörde ist für die Marktüberwachung zuständig. Die Anbieter von Hochrisiko-KI-Systemen melden den Marktüberwachungsbehörden der Mitgliedstaaten schwerwiegende Vorfälle oder Fehlfunktionen dieser Systeme, die einen Verstoß gegen die Bestimmungen des Unionsrechts zum Schutz der Grundrechte darstellen. Die Marktüberwachungsbehörden unterrichten die nationalen Behörden oder öffentlichen Stellen. Die nationalen Aufsichtsbehörden erstatten der Kommission regelmäßig Bericht über die Ergebnisse ihrer Marktüberwachungstätigkeiten.
Sanktionen
Die Mitgliedstaaten erlassen Vorschriften über Sanktionen und treffen alle erforderlichen Maßnahmen, um deren ordnungsgemäße und wirksame Anwendung zu gewährleisten. Sie tragen insbesondere den Interessen von Kleinanbietern und Jungunternehmen sowie deren wirtschaftlichem Überleben Rechnung. Die Sanktionen müssen wirksam, verhältnismäßig und abschreckend sein.
Die Mitgliedstaaten teilen der Kommission diese Vorschriften und Maßnahmen sowie alle sie betreffenden Änderungen unverzüglich mit.
Geldbußen
Bei Verstößen gegen das Verbot von KI-Praktiken und bei Nichtkonformität des KI-Systems mit den festgelegten Anforderungen können Geldbußen von bis zu 30.000.000 EUR verhängt werden. Bei Unternehmen kann die Geldbuße bis zu 6 % des gesamten weltweit erzielten Jahresumsatzes des vorangegangenen Geschäftsjahrs betragen, je nachdem, welcher Betrag höher ist.
Verstößt ein KI-System gegen die in dieser Verordnung festgelegten Anforderungen oder Verpflichtungen, so wird ein Bußgeld in Höhe von bis zu 20 000 000 EUR oder, im Falle von Unternehmen, bis zu 4 % des gesamten weltweit erzielten Umsatzes des vorangegangenen Geschäftsjahrs verhängt.
Werden den notifizierten Stellen und den zuständigen nationalen Behörden auf deren Verlangen unrichtige, unvollständige oder irreführende Angaben gemacht, so können Geldbußen bis zu einem Höchstbetrag von 10 000 000 EUR oder im Fall von Unternehmen bis zu einem Höchstbetrag von 2 % des gesamten weltweit erzielten Jahresumsatzes des Unternehmens im vorausgegangenen Geschäftsjahr verhängt werden, je nachdem, welcher Betrag höher ist.
Zur englischen Übersetzung des Artikels: Proposal for the European AI Act