Köln, 22.01.2024
Der Einsatz von Systemen, die auf sog. künstlicher Intelligenz beruhen („KI-Systeme“), ist heute allgegenwärtig. Das Potenzial von KI-Systemen wird erkannt, aber es bestehen gleichzeitig Bedenken hinsichtlich möglicher Risiken und Nebenwirkungen. Vor einigen Monaten warnten führende Vertreter von Technologiekonzernen in einem offenen Brief eindringlich vor erheblichen Risiken für die Gesellschaft und die Menschheit. Sie forderten gar eine sechsmonatige Entwicklungspause. Vor Kurzem erregte der AI Safety Summit im englischen Milton Keynes mediale Aufmerksamkeit. Hier wurde ein erster Schritt hin zu einer internationalen Verständigung über die Regulierung des sich rasch entwickelnden Sektors unternommen. Die dort verabschiedete „Bletchley Declaration“ betonte die Notwendigkeit einer ausgewogenen Regulierung. Dies ist Grund genug, einen kurzen Blick auf die aktuelle Rechtslage beim Einsatz von KI-Systemen, den Entwurf der KI-Haftungsrichtlinie[1] („KI-Haftungsrichtlinie“), den Entwurf zur Anpassung der Produkthaftungsrichtlinie[2] („ProdHaftRL-E“) und die europäische KI-VO („KI-VO“) zu werfen.
Einen detaillierten Einblick in das Gesetzgebungsverfahren zur KI-VO sowie die jüngsten Durchbrüche in diesem Bereich bieten wir bereits in unseren Beiträgen zur KI-VO.
Aktuelle Rechtslage
Bei Fehlverhalten eines KI-Systems liegt entweder eine Sorgfaltspflichtverletzung eines Menschen („menschliches Versagen“) oder ein programmtechnisches Versagen („programmtechnisches Versagen“) vor.
Fehlende Sorgfaltspflichtverletzung
Sowohl die vertragliche als auch die deliktische Haftung setzen eine Sorgfaltspflichtverletzung des Anspruchsgegners, also Verschulden, voraus. Dasselbe gilt im Hinblick auf von KI-Systemen ausgehende Diskriminierungsrisiken für mögliche Schadensersatzansprüche gemäß § 15 Abs. 1 AGG.
Häufig lässt sich Fehlverhalten eines KI-Systems auf eine Sorgfaltspflichtverletzung zurückführen, z.B. im Rahmen des Trainings, der Auswahl, der Überwachung oder der Verwendung des KI-Systems. Wenn jedoch kein menschliches Versagen feststellbar ist und ein programmtechnisches Versagen vorliegt, scheidet eine Haftung aus. Die Zurechnung von Fehlverhalten eines KI-Systems wird zwar intensiv diskutiert, aber überwiegend aufgrund der mangelnden Verschuldensfähigkeit von KI-Systemen abgelehnt. Eine Haftung kann daher in solchen Fällen nicht angenommen werden und der Geschädigte trägt das Risiko eines programmtechnischen Versagens. Das deutsche Recht kennt mit Ausnahme bereichsspezifischer Regelungen (z.B. dem Entschädigungsanspruch gemäß § 15 Abs. 2 AGG) keinen verschuldensunabhängigen Haftungstatbestand, es sei denn, das ProdHaftG findet Anwendung.
Die Anwendbarkeit des ProdHaftG auf Software ist bislang umstritten und muss für jeden Einzelfall bewertet werden. Zudem sieht das ProdHaftG nur Ansprüche gegen Hersteller vor und nur für Schäden an Leben, Körper, Gesundheit oder an für den privaten Gebrauch bestimmten Sachen. In dieser Hinsicht wird der ProdHaftRL-E Änderungen mit sich bringen, da er die Produkthaftung auf Software ausweitet und den Kreis der haftenden Akteure etwas erweitert. Die Einführung einer verschuldens- unabhängigen Haftung von Betreibern geht damit aber nicht einher und ist aktuell auch nicht geplant. In der Zukunft kann eine solche Einführung nicht gänzlich ausgeschlossen werden. Nach Art. 5 Abs. 2 der KI-Haftungsrichtlinie soll die EU-Kommission fünf Jahre nach Ablauf der Umsetzungsfrist bewerten, ob Vorschriften über die verschuldensunabhängige Haftung für Ansprüche gegenüber Betreibern bestimmter KI-Systeme angemessen sind.
Black-Box
Aufgrund der technisch bedingten Intransparenz von Ursachen und Beiträgen („Black-Box“) ist es aktuell schwer nachzuvollziehen, ob ein menschliches Versagen oder ein programmtechnisches Versagen vorliegt. Erklärungsmodelle, die im Forschungsgebiet Explainable AI („XAI“) erarbeitet werden, werden hier eine wichtige Rolle spielen
KI-Haftungsrichtlinie
Im Windschatten der KI-VO entsteht ein Regelwerk, das dieses Problem verringern soll: Die KI-Haftungsrichtlinie.
Diese soll nur auf außervertragliche, verschuldensabhängige Schadensersatzansprüche anwendbar sein und wird daher vor allem im bestehenden Deliktsrecht zu Veränderungen führen. Nach der KI-Haftungsrichtlinie hat ein (potenzieller) Kläger das Recht, Informationen zu einem Hochrisiko-KI-System, das im Verdacht steht, einen Schaden verursacht zu haben, zu erhalten. Die KI-Haftungsrichtlinie zielt also auf die Normierung eines Auskunftsanspruchs gegen Anbieter und Betreiber von Hochrisiko-KI-Systemen ab. Ziel ist es, Anspruchsstellern wirksame Mittel an die Hand zu geben, um potenziell haftende Personen zu ermitteln und einschlägige Beweismittel für einen Anspruch zu bekommen. Außerdem soll ein zusätzlicher Anreiz geschaffen werden, die Anforderungen der KI-VO hinsichtlich der Dokumentation und Aufzeichnung der Informationen zu erfüllen. Unklar ist, wie man verhindern will, dass Anspruchssteller die offengelegten Informationen „zweckwidrig“ für die Verfolgung vertraglicher Ansprüche benutzen. Sofern keine Vorlage der Informationen erfolgt, wird eine Sorgfaltspflichtverletzung widerleglich vermutet. Es ist daher eine gründliche und umfassende Dokumentation erforderlich, um sich effektiv vor Ansprüchen zu schützen.
Zudem wird nach der KI-Haftungsrichtlinie ein Kausalzusammenhang zwischen dem Sorgfaltspflichtverstoß und der Ausgabe des KI-Systems widerlegbar vermutet. Bei Schadensersatzansprüchen gegen Anbieter von Hochrisiko-KI-Systemen setzt diese Kausalitätsvermutung voraus, dass (i) der Kläger nachweist, dass der Anbieter bestimmte Anforderungen aus der KI-VO nicht erfüllt hat (z.B. Data Governance, Transparenz). Die Kausalitätsvermutung setzt (ii) die Möglichkeit eines ursächlichen Zusammenhangs zwischen Sorgfaltspflichtverstoß und Ausgabe sowie (iii) den Nachweis, dass die Ausgabe kausal für den Schaden war, voraus.
Die KI-Haftungsrichtlinie sieht eine Umsetzungsfrist von zwei Jahren nach ihrem Inkrafttreten vor. Der genaue Zeitpunkt des Inkrafttretens der KI-Haftungsrichtlinie ist noch nicht absehbar und hängt auch von den Fortschritten in Bezug auf die KI-VO ab. Es ist frühestens im Jahr 2026 mit einer Geltung der KI-Haftungsrichtlinie zu rechnen.
ProdHaftRL-E
Auch in dem ProdHaftRL-E, der sich mit der KI-Haftungsrichtlinie hinsichtlich Schadensersatzansprüchen gegen Hersteller überschneidet, ist ein Auskunftsanspruch und eine widerlegbare Vermutung vorgesehen; der ProdHaftRL-E greift damit zu denselben Methoden wie die KI-Haftungsrichtlinie. Eine bedeutende Änderung ist die ausdrückliche Einbeziehung von Software in den Produktbegriff. Zuletzt wurde eine politische Einigung zwischen dem Europäischen Parlament und dem Rat über die Anpassung der Produkthaftungsrichtlinie erzielt.
KI-VO: Einfluss der Klassifizierung auf die Vertragsgestaltung
Ein weiterer bedeutsamer Aspekt im Kontext der Haftung betrifft die Klassifizierung von KI-Systemen nach der KI-VO, da diese die vertragliche Gestaltung bei der Beschaffung von KI-Systemen maßgeblich beeinflusst.
Die EU-Kommission hat unter Bezugnahme auf die absehbaren künftigen Verpflichtungen aus der KI-VO am 29. September 2023 zwei Versionen von Standardvertragsklauseln („KI-SCC“) für die Beschaffung von KI-Systemen veröffentlicht. Eine Version der KI-SCC gilt für die Beschaffung von Hochrisiko-KI-Systemen und regelt unter anderem grundlegende Anforderungen an das KI-System und die Pflichten des Lieferanten in Bezug auf das KI-System. Obwohl die KI-SCC primär an öffentliche Organisationen gerichtet sind, können sie auch für private Unternehmen bei der Beauftragung externer KI-Dienstleister von Nutzen sein. Dies verdeutlicht, dass es sinnvoll ist, die Klassifizierung nach der KI-VO genauer zu betrachten.
Die KI-VO sieht eine Klassifizierung von KI-Systemen vor, wobei das Herzstück der KI-VO sog. Hochrisiko-KI-Systeme betrifft. Näheres zur KI-VO finden Sie in unseren Beiträgen zur KI-VO. Der jüngste Änderungsvorschlag des EU-Parlaments sieht in Art. 6 Abs. 2 vor, dass für die Klassifizierung als Hochrisiko-KI-System das Vorliegen einer Systemart im Sinne des Anhangs III und ein „erhebliches Risiko“ für die Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen oder die Umwelt gegeben sein muss. Bei der Bewertung der Erheblichkeit sind Schwere, Intensität, Eintrittswahrscheinlichkeit und Dauer der Auswirkungen wesentliche Kriterien. Die Feststellung dieses „erheblichen Risikos“ soll - Stand jetzt - anhand von Leitlinien der EU-Kommission und durch eine Selbsteinschätzung von Anbietern von KI-Systemen erfolgen. Die Anbieter müssen ihre Einschätzung, dass kein „erhebliches Risiko“ vorliegt, begründen und der nationalen Aufsichtsbehörde oder dem Büro für künstliche Intelligenz mitteilen. Die zuständige Behörde prüft die Mitteilung und kann der Einschätzung innerhalb einer Einspruchsfrist von drei Monaten widersprechen. Dieser Prozess erfordert eine fundierte technische und rechtliche Bewertung der Risiken, die von dem KI-System ausgehen.
Im Zweifelsfall sollte die Einschätzung daher konservativ ausfallen und das Vorliegen eines Hochrisiko-KI-Systems angenommen werden, zumal Anbieter, die ihr KI-System unzutreffend klassifizieren und vor Ablauf der Einspruchsfrist der nationalen Aufsichtsbehörde in Verkehr bringen, mit empfindlichen Geldbußen rechnen müssen.
Ausblick
Die Zukunft der Regulierung von KI-Systemen bleibt spannend. Wir behalten das sich wandelnde rechtliche Umfeld im Blick und werden Sie auf unserer Webseite fortlaufend über die Gesetzgebungsverfahren und andere relevante Entwicklungen informieren.
[1] Europäische Kommission, Vorschlag für eine Richtlinie des Europäischen Parlaments und des Rates zur Anpassung der Vorschriften über außervertragliche zivilrechtliche Haftung an künstliche Intelligenz (Richtlinie über KI-Haftung) vom 28. September 2022, COM (2022) 496 final.
[2] Europäische Kommission, Vorschlag für eine Richtlinie des Europäischen Parlaments und des Rates über die Haftung für fehlerhafte Produkte vom 28. September 2022, COM (2022) 495 final.
