Diskriminierungsrisiken algorithmischer Entscheidungsprozesse
Regulierung im Antidiskriminierungs- und Datenschutzrecht
Zusammenfassung
Die Arbeit analysiert und systematisiert die Diskriminierungsrisiken algorithmischer Entscheidungsprozesse der Künstlichen Intelligenz. Sie entwickelt ein Phasenmodell, das verschiedene algorithmische Prozesse rechtlichen Analysen zugänglich macht. Das Modell verdeutlicht die vielfältigen Diskriminierungsrisiken, die von algorithmischen Systemen der Künstlichen Intelligenz ausgehen und die das Antidiskriminierungsrecht allein nicht zu bewältigen vermag. Die Autorin erörtert, ob und wie das Datenschutzrecht verbleibende Schutzlücken füllen kann. Die Analyseergebnisse geben Anstoß dazu, die beiden Rechtsgebiete zusammenzudenken und insbesondere das antidiskriminatorische Potential des Datenschutzrechts zu nutzen.
Abstract
The book analyses and systematises the discrimination risks of algorithmic decision-making processes in artificial intelligence. It develops a phase model that makes various algorithmic processes accessible to legal analyses. The model illustrates the diverse discrimination risks posed by algorithmic artificial intelligence systems, which anti-discrimination law alone is unable to address. The author discusses whether and how data protection law can fill the remaining gaps in protection. The results of the analysis provide an impetus to consider the two areas of law together and, in particular, to utilise the anti-discriminatory potential of data protection law.
Schlagworte
- Kapitel Ausklappen | EinklappenSeiten
- 1–12 Titelei/Inhaltsverzeichnis 1–12
- 13–16 Kapitel I: Einleitung und Gang der Untersuchung 13–16
- 17–66 Kapitel II: Das Phänomen der Algorithmendiskriminierung als Untersuchungsgegenstand 17–66
- A. Problemanriss: Die Diskriminierungsrisiken algorithmischer Entscheidungsprozesse im teilhaberelevanten Bereich der staatlichen Leistungsverwaltung
- I. Algorithmische Entscheidungssysteme in der Leistungsverwaltung am Beispiel des ArbeitsmarktchancenAssistenzsystems (AMAS) in Österreich
- II. Personenbezogene Kriminalitätsprognose, insbesondere das System COMPAS
- III. Diskriminierende Effekte bei der Personalauswahl, insbesondere der Einsatz einer Recruiting-Software durch Amazon
- IV. Algorithmische Bilderkennungssysteme, insbesondere die Bilderkennungssoftware von Google Fotos und die GenderShades-Studie
- B. Terminologische und technische Grundlagen
- I. Algorithmen, algorithmische Entscheidungssysteme und Künstliche Intelligenz
- 1. Der Algorithmusbegriff und der soziotechnische Charakter algorithmischer Systeme
- 2. Regelbasierte und „lernende“ algorithmische Entscheidungssysteme der Künstlichen Intelligenz
- a. Regelbasierte Algorithmen und Entscheidungssysteme
- b. „Lernende“ Entscheidungssysteme der Künstlichen Intelligenz
- aa. Menschlicher Einfluss
- bb. Lernmethoden
- c. Gemeinsamkeiten und Unterschiede regelbasierter und „lernender“ Entscheidungssysteme
- 3. Die (unscharfe) Unterscheidung von Entscheidungssystemen nach dem Grad ihrer Automatisierung (Automation Bias)
- II. Die drei Phasen algorithmischer Entscheidungsprozesse
- 1. Datenanalyse und Modellierung
- 2. Anwendung des Entscheidungsmodells auf konkrete Fälle (Profiling)
- 3. Festlegung und Umsetzung der Handlungsoption
- C. Die spezifischen Diskriminierungsrisiken algorithmischer Entscheidungsprozesse
- I. Die Ursachen der Algorithmendiskriminierungen
- 1. Bias des algorithmischen Entscheidungsmodells
- a. Bias der Beispieldatensätze
- b. Fehler bei Definition und Operationalisierung des entscheidungsrelevanten Umstandes
- aa. Subjektiv verzerrte Definition des entscheidungsrelevanten Umstandes
- bb. Annahme von Scheinkausalität bei der Operationalisierung des entscheidungsrelevanten Umstandes
- 2. Strukturelle Diskriminierungslagen
- II. Problemdimensionen algorithmischer Diskriminierung
- 1. Perpetuierung struktureller Diskriminierungslagen und Konsolidierung diskriminierender Stereotyp
- 2. Entindividualisierung und Verobjektivierung durch Generalisierung
- 3. Materielle Benachteiligung und Abschreckungseffekte
- 4. Intransparenz
- 5. Hohe Reichweite und Schnelligkeit
- 6. Dilemma der Differenz
- 7. Zusammenfassung: Die unterschiedlichen Problemdimensionen der Algorithmendiskriminierung
- D. Zusammenfassung
- 67–106 Kapitel III: Antidiskriminierungsrechtliche Analyse algorithmischer Entscheidungsprozesse 67–106
- A. Rechtsquellen und Anwendungsbereiche
- I. Arbeitsleben
- II. Zivilrechtsverkehr
- III. Sozialleistungsverwaltung
- IV. Gefahrenabwehr
- B. Das Vorliegen eines justiziablen Nachteils im algorithmischen Entscheidungsprozess
- I. Grundsatz der normativen Nachteilsbestimmung
- II. Algorithmische Vorauswahl
- III. Zugang zu Informationen (Targeting)
- C. Algorithmische Diskriminierungen als unmittelbare und mittelbare Diskriminierungen
- I. Unmittelbare Diskriminierung
- 1. Proxy-Diskriminierung und statistische Diskriminierungen
- a. Statistische Diskriminierung
- b. Proxy-Diskriminierung
- c. Rechtsdogmatische Einordnung im Kontext algorithmischer Entscheidungsprozesse
- 2. Bloße Mitursächlichkeit einer geschützten Kategorie (Motivbündel)
- II. Mittelbare Diskriminierung
- 1. Geschützte Personengruppen
- 2. Vergleichsgruppenbildung
- 3. Besondere Betroffenheit
- III. Mehrdimensionale Diskriminierung
- 1. Kumulative Diskriminierung
- 2. Intersektionale Diskriminierung
- D. Rechtfertigung
- I. Sachlicher Grund
- II. Keine Rechtfertigung bei fehlerhaftem Entscheidungsmodell
- E. Rechtsdurchsetzung: Die Grenzen des antidiskriminierungsrechtlichen Individualrechtsschutzes
- I. Informationelle Asymmetrien: Nachweis von Diskriminierungen
- II. Negatives Kosten-Nutzen-Kalkül
- III. Diskriminierung ohne identifizierbares Opfer (Abschreckungseffekt)
- F. Fazit: Die algorithmenspezifische Problembewältigungskapazität des Antidiskriminierungsrechts
- 107–172 Kapitel IV: Datenschutzrechtliche Analyse algorithmischer Entscheidungsprozesse 107–172
- A. Rechtsquellen und Anwendungsbereich
- B. Schutz vor diskriminierenden Algorithmen als Ziel und Gegenstand des Datenschutzrechts
- I. Diskriminierungsschutz als Regelungsziel des Datenschutzrechts
- II. Regelungsgegenstand: Die Verarbeitung personenbezogener Daten im algorithmischen Entscheidungsprozess
- C. Augenscheinliche Parallele zum Antidiskriminierungsrecht: Der gesteigerte Schutz für besondere Kategorien personenbezogener Daten
- I. Ein kurzer Blick auf die Geschichte sensibler Daten
- II. Der Schutz (diskriminierungs-)sensibler Daten
- 1. Reichweite des Katalogs besondere Datenkategorien: Schutz von Inhalts- und Quelldaten
- 2. Die datenschutzrechtlich besonders geschützten sensiblen Daten im Vergleich mit den Diskriminierungskategorien des Art. 21 Abs. 1 EU-GRCh
- a. Parallelen
- b. Abweichungen der Kataloge
- c. Zwischenfazit
- D. Das antidiskriminatorische Regelungspotenzial des Verbots der Verarbeitung diskriminierungssensibler Daten, Art. 9 DSGVO
- I. Dogmatische Grundzüge des Art. 9 DSGVO
- II. Bedeutung des Verbotsgrundsatzes in Art. 9 Abs. 1 DSGVO für algorithmische Entscheidungsprozesse
- 1. Phasenspezifische Wirkung des Verbots der Verarbeitung besonderer Kategorien personenbezogener Daten
- a. Wirkung in der ersten Phase
- b. Wirkung in der zweiten Phase
- c. Wirkung in der dritten Phase
- 2. Zwischenergebnis
- III. Bedeutung der Ausnahmeregelungen in Art. 9 Abs. 2–Abs. 4 DSGVO
- 1. Die Ausnahmetatbestände des Art. 9 Abs. 2 DSGVO
- 2. Grundsätzlich restriktive Auslegung nach Telos und Systematik
- 3. Ausnahmsweise Zulässigkeit der Verarbeitung besonderer Kategorien personenbezogener Daten aus antidiskriminatorischen Interessen
- IV. Fazit
- E. Die begrenzte (antidiskriminatorische) Relevanz des Verbots automatisierter Entscheidungen
- I. Dogmatische Grundzüge
- II. Die Bedeutung des Verbotsgrundsatzes für algorithmische Entscheidungsprozesse
- 1. Subsumtion eines algorithmischen Entscheidungsprozesses unter die Tatbestandsmerkmale
- a. Vorliegen einer Entscheidung im algorithmischen Entscheidungsprozess
- b. Entfaltung rechtlicher Wirkung oder ähnliche erhebliche Beeinträchtigung
- c. Ausschließlich automatisierte Verarbeitung
- aa. Vollautomatisierte Entscheidungssysteme
- bb. Teilautomatisierte entscheidungsunterstützende Assistenzsysteme
- 2. Analyse der regulierenden Wirkung auf algorithmische Entscheidungsprozesse
- III. Bedeutung der Ausnahmeregelungen in Art. 22 Abs. 2–Abs. 4 DSGVO für algorithmische Entscheidungsprozesse
- 1. Grundsätzlich weitreichende Ausnahmen, Art. 22 Abs. 2 i.V.m. Abs. 3 DSGVO
- 2. Gegenausnahme bzw. gesteigerter Schutz für besondere Kategorien personenbezogener Daten, Art. 22 Abs. 4 DSGVO
- IV. Fazit
- F. Sensibilisierung für Diskriminierungsrisiken durch Datenschutz-Folgenabschätzung gem. Art. 35 DSGVO
- I. Dogmatische Grundzüge und Systematik des Art. 35 DSGVO
- 1. Durchführungspflicht
- 2. Ablauf und Inhalt des Abschätzungsprozesses
- II. Die Datenschutz-Folgenabschätzung in algorithmischen Entscheidungsprozessen
- 1. Bestehen einer Durchführungspflicht im Vorfeld algorithmischer Entscheidungsprozesse
- a. Regelbeispiele, Art. 35 Abs. 3 DSGVO
- b. Positivlisten des Bundes und der Länder, Art. 35 Abs. 4 DSGVO
- 2. Sensibilisierung und Vorsorge durch Abschätzung der Folgen algorithmischer Entscheidungsprozesse
- a. Durchführungszeitpunkt: Vorabprüfung und kontinuierliche Kontrolle
- b. Systematische Beschreibung des Prognosegegenstands, Art. 35 Abs. 7 lit. a DSGVO
- c. Identifikation und Bewertung der Risiken, Art. 35 Abs. 7 lit. b und lit. c DSGVO
- d. Abhilfemaßnahmen
- III. Fazit: Sensibilisierung und Vorsorge durch die Abschätzung der Diskriminierungsrisiken algorithmischer Entscheidungsprozesse
- G. Ergebnis: Datenschutzrecht antidiskriminatorisch denken und anwenden
- 173–174 Kapitel V: Gesamtfazit und Ausblick 173–174
- 175–206 Literaturverzeichnis 175–206
