Kategorien
KI: Datenschutzrecht & Medienrecht

Urteil zum Einsatz von Software zur Aufdeckung von Sozialbetrug

In den Niederlanden gab es eine recht beachtliche gerichtliche Entscheidung (Rechtbank Den Haag, C-09-550982-HA ZA 18-388) zum Einsatz von Software durch den Staat, auf die ich über Netzpolitik.org aufmerksam wurde, die von einer gerichtlichen Entscheidung zu staatlich eingesetzter KI sprechen. Die Entscheidung ist keineswegs nur für die Niederlande von Interesse, da es hier zwar um nationale Gesetze hinsichtlich des Einsatzes von Software ging – aber das nationale Recht an europäischen Vorgaben zu messen war. Insbesondere zu erwähnen sind hier Artikel 8 EMRK sowie Artikel 7 und 8 der Grundrechte-Charta.

Anmerkung: Ich werde mit meinen bescheidenen niederländisch-Kenntnissen versuchen, einige wichtige Aspekte der Entscheidung auf Deutsch vorzustellen. Man sehe mir nach, dass ich hier trotz aller Mühen mit begrenzten Mitteln arbeite. Übrigens ging es – nach meinem Textverständnis – entgegen der Mitteilung bei Netzpolitik gerade nicht um den Einsatz von KI (wobei dies zuerst natürlich mein besonderes Interesse weckte).

Welche Technik wurde eingesetzt?

Zum Einsatz kommt ein so genanntes Risikoindikationssystem (auf niederländisch mit dem Namen System Risico Indicatie, oder kurz “SyRI”) was ein gesetzliches Instrument ist, das zur Verhinderung und Bekämpfung von Betrug im Bereich der Sozialversicherung und des Einkommens zum Einsatz kommt, hierzu gehören insbesondere die Erfassung von Steuern und Sozialversicherungsbeiträgen sowie der gesamte Bereich der Meldepflichten im Arbeitsrecht. Nach Darstellung der niederländischen Regierung handelt es sich um eine

technische Infrastruktur und damit verbundene Verfahren, die es ermöglichen, Daten in einer sicheren Umgebung anonym zu verknüpfen und zu analysieren, um Risikomeldungen zu erstellen. 

Rechtbank Den Haag, C-09-550982-HA ZA 18-388, Rn. 3.1

Wenn durch das System eine Riskomeldung erzeugt wird, führt dies zu einem Verdacht der Ermittlungen auslöst. Dabei sind eine Vielzahl von Behörden involviert, jedenfalls zum Zeitpunkt der Entscheidung beteiligt waren Datensätze von

  • Gemeinden
  • Steuer- und Zollverwaltung
  • Einwanderungs- und Einbürgerungsbehörde
  • Sozialämter & Arbeitsämter

Die Technik selber ist in Ihrem Beginn dabei sehr alt, das Gericht berichten, dass man bereits seit 2003 eine Datenzusammenarbeit pflegt, seit 2004 gab es gesetzliche Regelungen zur Verknüpfung von Akten über Behörden hinweg. Hieraus entstand das bis 2010 laufende Projekt “Black Box”, das aus dem Akteninput dann Risikoprofile erzeugte. Sodann wurde das “SUWI-Gesetz” mit Wirkung vom 1. Januar 2014 geändert, um die Verwendung von SyRI in den Niederlanden gesetzlich zu verankern.

Dieser sehr kurze historische Überblick macht ein wenig deutlich, wie über mehr als 10 Jahre sich hinziehende Entwicklungen durch moderne Datenverarbeitung plötzlich einen “Quantensprung” machen können. Denn während man die letzten 20 Jahren mit der sich in solchen Verarbeitung anstürmenden Masse von Daten schlicht überfordert war, ermöglicht eine darauf passgenau geschriebene KI plötzlich die Verarbeitung dieser Datenmassen.

Entscheidung des Gerichts

Das Gericht kam zu dem Ergebnis, dass die Gesetzgebung zu “SyRI” mit der in Artikel 8 Absatz 2 EMRK festgelegten Anforderung, dass ein Eingriff in die Ausübung des Rechts auf Achtung des Privatlebens in einer demokratischen Gesellschaft notwendig, d.h. notwendig, verhältnismäßig und subsidiär in Bezug auf das verfolgte Ziel sein muss, nicht vereinbar ist. Dabei kam das Gericht zu der Auffassung, dass die Gesetzgebung nicht dem angemessenen Verhältnis entspricht, das nach der EMRK zwischen dem sozialen Interesse – dem die Gesetzgebung dient – und dem Eingriff in das Privatleben, den die Gesetzgebung darstellt, bestehen muss. Dabei zog das Gericht die Grundsätze der DSGVO ebenso heran wie die Grundrechte-Charta.

Von besonderer Bedeutung für das Gericht waren insbesondere die Grundsätze von

  • Transparenz
  • Zweckbindung
  • Datenminimierung.

Wobei letztlich besonders hervorzuheben ist dass die gesetzliche Grundlage von SyRI aus Sicht des Gericht nicht ausreichend transparent und überprüfbar ist, weswegen diese mit dem festzustellenden Verstoß gegen Artikel 8 Absatz 2 der EMRK für unwirksam erklärt wurden. Gerade dieser Ansatz liesse sich auch auf deutsches Recht übertragen. 

Keine echte KI im Einsatz

Wie genau die Software arbeitet ist aus meiner Sicht nicht ganz klar, da gerade nicht bekannt geworden ist, wie SyRI arbeitet – insoweit ist der Beitrag bei Netzpolitik etwas verwirrend. Ich jedenfalls habe die Entscheidung ausdrücklich so verstanden, dass das Gericht gerade nicht überprüfen konnte, was SyRI nun wirklich ist:

Schließlich hat der Staat das Risikomodell und die Indikatoren, aus denen das Risikomodell besteht oder bestehen könnte, nicht offengelegt. Auch in diesem Verfahren hat er dem Gericht keine objektiv nachprüfbaren Informationen zur Verfügung gestellt, damit es die Auffassung des Staates darüber, was SyRI ist, beurteilen kann. Der Staat begründet dies damit, dass die Bürger ihr Verhalten entsprechend anpassen könnten.

Rechtbank Den Haag, C-09-550982-HA ZA 18-388, Rn. 6.49

Insoweit hat das Gericht dann auch nochmal ausdrücklich klargestellt, dass es keine Anzeichen dafür gefunden hatte, dass die Umsetzung der SyRI-Gesetzgebung derzeit “tiefes Lernen” und Data Mining beinhalten oder dass überhaupt Risikoprofile entwickelt werden (dazu bei Rn. 6.63). Vielmehr scheint den Ausführungen bei 6.89 entsprechend eher davon auszugehen sein, dass ein schlichtes Scoring-Modell zum Einsatz kommt.

Transparenz bei Einsatz softwarebasierter Ermittlung

Die Ausführungen des Gerichts sind umfangreich, ich möchte an dieser Stelle den Transparenz-Gedanken hervorheben, da er im Bereich der (staatlich) eingesetzten KI von besonderer Bedeutung ist. In der DSGVO finden sich eine Reihe von Grundsätzen für die Verarbeitung personenbezogener Daten, so auch die in der Präambel in Verbindung mit Artikel 5 DSGVO benannte Transparenz. Dabei wird vom Gericht zur Transparenz folgendes ausgeführt:

Der Grundsatz der Transparenz erfordert zugängliche und verständliche Informationen, Kommunikation und eine einfache Sprache sowie die Information der betroffenen Personen über die Identität des für die Verarbeitung Verantwortlichen und die Zwecke der Verarbeitung. Unabhängig von diesem Grundsatz sollten aktiv weitere Informationen bereitgestellt werden, um eine ordnungsgemäße und transparente Verarbeitung von Daten zu gewährleisten, und die Personen sollten über die Risiken, Regeln, Garantien und Rechte im Zusammenhang mit der Verarbeitung personenbezogener Daten und die Ausübung ihrer Rechte in Bezug auf die Verarbeitung informiert werden. 

Rechtbank Den Haag, C-09-550982-HA ZA 18-388, Rn. 6.31

Hinweis zum Verständnis: Die DSGVO heisst im niederländischen “AVG” und das zum BDSG analoge Ausführungsgesetz schlicht “Uitvoeringswet AVG” oder kurz “UAVG”

Gesetzgeber muss Rücksicht nehmen beim Einsatz neuer Technologien

Obwohl es vorliegend gerade nicht um ernsthafte KI-Technologien ging ist die Entscheidung von Bedeutung. Zum einen macht das Gericht deutlich, dass es dem Gesetzgeber nicht per se verwehrt sein kann, neue Technologien bei der Analyse von Daten zu erlauben. Dabei ist die bisherige Gesetzesformulierung aus Sicht des Gerichts bereits ausreichend, um etwa ein “deep learning” zu ermöglichen.

Aber das niederländische Gericht arbeitet heraus, dass losgelöst von der konkreten Umsetzung in Form der Software bereits vorher auf Ebene der Gesetzgebung angesetzt werden muss. Dabei erarbeitet es allgemeine Grundsätze heraus, die auch in Deutschland gelten dürften – und etwa mit dem vom hiesigen Bundesverfassungsgericht entwickelten “Grundrecht auf informationelle Selbstbestimmung” sehr harmoniert.

So führt das Gericht ausdrücklich aus, dass die Entwicklung neuer Technologien einer Regierung u.a. digitale Möglichkeiten bietet, Dateien zu verknüpfen und Daten mit Hilfe von Algorithmen zu analysieren und so eine effektivere Kontrolle über die Bürger auszuüben. Nicht zuletzt wegen der Geschwindigkeit dieser technischen Entwicklung wird das Recht auf Datenschutz mit dem Gericht immer wichtiger: Die Sammlung und Analyse von Daten mit Hilfe dieser neuen Technologien kann tiefgreifende Auswirkungen auf das Privatleben derjenigen haben, auf die sich die Daten beziehen. Der Gesetzgeber hat daher auch im Falle der Anwendung eines solchen analysierenden Instruments eine besondere Verantwortung – denn es ist für eine betroffene Person schwierig, die genauen Auswirkungen des Instruments auf ihr Privatleben zu beurteilen, und die EMRK verlangt, dass die Gesetzgebung, die die Grundlage dafür bildet, ausreichende Garantien zur Verhinderung von Missbrauch und Willkür enthält. Daran aber scheitert die SyRI-Umsetzung in den Niederlanden:

Aus den oben genannten Gründen ist es nicht möglich, zu überprüfen, wie der einfache Entscheidungsbaum, von dem der Staat spricht, zustande kommt und aus welchen Schritten er besteht. Es ist daher schwer zu erkennen, wie sich eine betroffene Person dagegen wehren kann, dass eine Risikomeldung für sie erstellt wurde.

Es ist ebenso schwierig zu erkennen, wie eine betroffene Person, deren Daten in SyRI verarbeitet wurden, die aber nicht zu einer Risikomeldung geführt hat, sich bewusst sein kann, dass ihre Daten aus korrekten Gründen verarbeitet wurden. Die Tatsache, dass die Daten in letzterem Fall nicht zu einer Risikoerklärung führten und zudem spätestens vier Wochen nach der Analyse vernichtet werden müssen, schmälert nicht die erforderliche Transparenz bei dieser Verarbeitung. Das Recht auf Achtung des Privatlebens bedeutet auch, dass eine betroffene Person in der Lage sein sollte, ihre Daten in einem angemessenen Umfang zu verfolgen.

Rechtbank Den Haag, C-09-550982-HA ZA 18-388, Rn. 6.90

Die Bedeutung der Transparenz im Hinblick auf die Überprüfbarkeit ist aus Sicht des Gerichts zudem deshalb wichtig, weil die Anwendung des Risikomodells und die in diesem Zusammenhang durchgeführte Analyse das Risiko (unbeabsichtigter) diskriminierender Auswirkungen in sich birgt (dazu Rn. 6.91)

Konsequenzen für die Gesetzgebung

Der Staat darf im Allgemeinen auf eine KI zur Datenauswertung setzen, das dürfte keine überraschende Erkenntnis sein. Wenn man dies ändern möchte, wird man ein ausdrückliches gesetzliches Verbot schaffen müssen.

Allerdings wird man mit dem niederländischen Gericht verlangen müssen, dass es möglich ist, zu beurteilen, ob ein solchen Prozessen immanentes Risiko ausreichend gemindert wurde. Hierzu ist zu verlangen, dass es überprüfbare Einblicken in die Risikoindikatoren, den Ablauf des Risikomodells, einschließlich der Analysemethode, gibt. Das Problem an dieser Stelle ist allerdings, dass diese Gedanken zwar nahtlos auf Deutschland zu übertragen sind – sowohl was EU-Recht als auch Rechtsprechung des BVerfG angeht; allerdings sind unsere nationalen Gerichte nur allzu willfährig dabei, dem Argument zu folgen, dass der Staat mit einer Offenlegung seiner Kontrollmechanismen weiterem Missbrauch Türen öffnet (was das niederländische Gericht gerade nicht hat gelten lassen, angesichts der Bedeutung der Fragen für das tägliche Leben). Jedenfalls hierzulande habe ich persönlich erhebliche Bedenken, dass bestenfalls mit dem BVerfG eine entsprechende Rechtsprechung zu erreichen wäre. Und auch da, in der aktuellen Besetzung, mit vorsichtigem Vorbehalt.

Insgesamt zeigt sich: Es kommt eine Menge auf uns zu – auf uns als Europäer ebenso wie in den einzelnen Mitgliedsstaaten. Dringend brauchen wir allgemeine Regeln hinsichtlich dessen, unter welchen Umständen Staaten zur Überwachung Ihrer Bürger eine KI einsetzen dürfen. Zwar gibt es in der DSGVO Regelungen zum Profiling (siehe Erwägungsgrund 71 sowie Artikel 22 DSGVO) – allerdings ist die vorliegende Entscheidung ein Musterbeispiel für die Problematik: In Randnummer 6.56 findet man, dass die Regierung sich gerade darum gestritten hat, ob im schlichten Auswerten ohne rechtliche Konsequenz bereits ein Profiling im Sinne der DSGVO vorliegt (was das Gericht im Ergebnis leider offen liess, weil es hier nicht weiter relevant wurde in der fortgesetzten Prüfung).

Die vorliegende Entscheidung ist wichtig und inhaltlich überzeugend – aber sie ist bestenfalls der erste Schritt einer bisher kaum beachteten Entwicklung: Dem staatlichen Einsatz von Software und auch KI im Umgang mit den inzwischen von den Regierungen gehorteten Datenbergen ihrer Bürger. Insbesondere der vorliegende Fall, in dem vollkommen intransparent über unzählige Behörden hinweg ohne Information der Betroffenen Daten verknüpft wurden, sollte aufschrecken.


Fachanwalt für IT-Recht Jens Ferner

Von Fachanwalt für IT-Recht Jens Ferner

Ich habe mich als Strafverteidiger & Fachanwalt für IT-Recht fokussiert auf Rechtsfragen rund um Strafrecht, Technik & Arbeit: IT-Recht, IT-Vertragsrecht & Softwarerecht künstliche Intelligenz, Datenschutzrecht, Medienrecht ebenso wie IT-Arbeitsrecht, IT-Strafrecht, digitales Werberecht & Urheberrecht.

Meine juristische Expertise ergänze ich mit umfangreicher technischer Erfahrung als Programmierer & Linux-Systemadministrator inkl. Netzwerksicherheit, IT-Forensik & IT-Risikomanagement.