Diskriminierung durch IT in der Berufsorientierung?
Fairness-Auditierung der Webanwendung BERUFE Entdecker von der Bundesagentur für Arbeit
Zusammenfassung
Eine IT der Bundesagentur für Arbeit gab die Empfehlung: Wählt Informatik und Pflege als Beruf – stets entgegen den beruflichen Interessen der Jugendlichen? Die Fairness-Auditierung der Webanwendung BERUFE Entdecker öffnet exemplarisch die Blackbox der algorithmischen, datenbasierten, staatlichen Beratung in der Berufsorientierung. Beantwortet wird, was eine faire, digitale Beratung im Anwendungskontext des SGB III ist und wann eine Diskriminierung der Nutzer:innen vorliegt. Der Sachverhalt des Risikos einer geschlechtsspezifischen Diskriminierung durch einen Bias im Algorithmus und/oder in den Daten wird somit erstmalig operationalisiert – eine Blaupause für weitere Fairness-Auditierungen von IT der digitalen Berufsorientierung.
Abstract
A recommendation system used by the Federal Employment Agency gave young people the following career advice: Choose computer science and nursing as professions! Was this advice always contrary to their vocational interests? Fairness auditing by the web application ‘BERUFE Entdecker’ (online 2015–2021) exemplarily opens the black box of algorithmic, data-based governmental counselling in career guidance. It answers the question of what constitutes fair digital counselling tied to social legislation and when there is discrimination against users. This study is the first to operationalise the issue of the risk of gender-specific discrimination through bias in the algorithm and/or in the data, thus providing a blueprint for further fairness audits by IT in digital career guidance.
Schlagworte
Keywords
- Kapitel Ausklappen | EinklappenSeiten
- 1–30 Titelei/Inhaltsverzeichnis 1–30
- 31–40 1 Einleitung 31–40
- 41–80 2 ADM-Systeme: Informationstechnische Grundlagen und Diskriminierung 41–80
- 2.1 ADM-Systeme – Gegenstand
- 2.2 ADM-Systeme – Technische Komponenten
- 2.2.1 Algorithmen
- 2.2.1.1 Definition von Algorithmen
- 2.2.1.2 Eigenschaften und Funktionen von Algorithmen
- 2.2.1.3 Modellierung von Algorithmen
- 2.2.2 Daten
- 2.2.2.1 Definition von Daten
- 2.2.2.2 Eigenschaften und Funktionen von Daten
- 2.2.2.3 Modellierung von Daten
- 2.3 ADM-Systeme – Diskriminierung
- 2.3.1 Begriffsklärung
- 2.3.1.1 Diskriminierung aus rechtlicher Perspektive
- 2.3.1.2 Diskriminierung aus ökonomischer Perspektive
- 2.3.1.3 Diskriminierung aus informationstechnischer Perspektive
- 2.3.2 Fallbeispiele
- 2.3.2.1 Fallbeispiel 1: Automatisiertes Sourcing von Bewerber:innen
- 2.3.2.2 Fallbeispiel 2: Automatisiertes Screening von Bewerber:innen
- 2.3.2.3 Fallbeispiel 3: Automatisiertes Profiling von Arbeitslosen
- 2.3.2.4 Fallbeispiel 4: Automatisiertes Ranking von Arbeitsleistungen
- 2.3.2.5 Fallbeispiel 5: Automatisiertes Profiling von Empfänger:innen von Sozialleistungen
- 2.3.3 Ursachen
- 2.3.3.1 Preexisting Bias
- 2.3.3.2 Technical Bias
- 2.3.3.3 Emergent Bias
- 2.4 Fazit Kapitel 2
- 81–146 3 Berufsorientierung Jugendlicher am Ausbildungsmarkt und die Leistungen der BA: Der Entwicklungs- und Anwendungskontext des ADM-Systems BERUFE Entdecker 81–146
- 3.1 Ausbildungsmarkt in Deutschland
- 3.1.1 Berufsausbildungssystem
- 3.1.1.1 Duale Berufsausbildung
- 3.1.1.2 Schulische Berufsausbildung
- 3.1.1.3 GES-Berufe nach Bundes- und Landesrecht
- 3.1.1.4 Ausbildungen nach Landesrecht ohne GES-Berufe
- 3.1.2 Empirische Eckdaten
- 3.1.2.1 Passungsprobleme auf dem Ausbildungsmarkt
- 3.1.2.2 Geschlechtsspezifische Segregation des Ausbildungsmarktes
- 3.1.2.2.1 Geschlechtsspezifische Segregation des Berufsausbildungssystems
- 3.1.2.2.2 Geschlechtsspezifische Segregation der Berufsbereiche nach KldB 2010
- 3.1.2.2.3 Geschlechtsspezifische Segregation der anerkannten Ausbildungsberufe
- 3.1.2.2.4 Geschlechtsspezifische Segregation der Dienstleistungs- und Produktionsberufe
- 3.1.2.2.5 Geschlechtsspezifische Segregation der MINT-Berufe
- 3.1.2.2.6 Geschlechtsspezifische Segregation der Vergütung, Arbeitszeit und Aufstiegsweiterbildung
- Vergütung
- Arbeitszeit
- Aufstiegsweiterbildung
- 3.1.3 Ausbildungsmarkt aus Lebensverlaufsperspektive
- 3.1.4 Ausbildungsmarkt in der sozialen Marktwirtschaft
- 3.2 Berufsorientierung in Deutschland
- 3.2.1 Berufsorientierung – Begriffsklärung
- 3.2.2 Berufswahl – Theorien und empirische Befunde
- 3.2.2.1 Berufswahl als (Selbst-)Zuordnungsprozess
- 3.2.2.2 Berufswahl als Zuweisungsprozess
- a) Schulische Qualifikation
- b) Regionale Herkunft
- c) Soziale Herkunft
- d) Migrationshintergrund
- e) Geschlecht
- Zwischenfazit
- 3.2.3 Ursachen der geschlechtertypischen Berufsorientierung
- Zwischenfazit
- 3.2.4 Herausforderungen der geschlechtertypischen Berufsorientierung
- Zwischenfazit
- 3.3 Leistungen der BA für die Berufsorientierung
- 3.3.1 Analoge und digitale Leistungen der Berufsorientierung
- Analoge Leistungen
- Digitale Leistungen
- Zwischenfazit
- 3.3.2 Gleichstellungsleistungen der Berufsorientierung
- 3.3.2.1 Strategische Gleichstellungsziele der Berufsorientierung
- Rahmenzielvereinbarung
- Geschäftsberichte aus den Jahren 2018 und 2017
- Empfehlungen des Verwaltungsrats
- 3.3.2.2 Operative Gleichstellungsziele der Berufsorientierung
- Zwischenfazit
- 3.3.3 Verbot der geschlechtsspezifischen Berufslenkung
- 3.4 Fazit Kapitel 3
- 147–160 4 Wissenschafts- und Technikforschung: Das ADM-System BERUFE Entdecker als soziotechnisches Artefakt 147–160
- 4.1 Science and Technology Studies: ADM-Systeme und die Gesellschaft
- Zwischenfazit
- 4.2 Feminist Science and Technology Studies: ADM-Systeme und das Geschlecht
- Zwischenfazit
- 4.3 Nudging: ADM-Systeme und die Politik
- Zwischenfazit
- 4.4 Fazit Kapitel 4
- 161–196 5 Darstellung und Problematisierung des ADM-Systems BERUFE Entdecker 161–196
- 5.1 Darstellung von BERUFE Entdecker aus Anwendersicht
- 5.2 Problematisierung von BERUFE Entdecker
- 5.2.1 Forschungsproblem
- Empirisch und theoretisch begründete Vermutung der Einschreibung eines Genderskipts in den Algorithmus und in die Daten von BERUFE Entdecker
- Rechtliche Vorgaben für die Gestaltung der Leistungen der Berufsorientierung durch BERUFE Entdecker
- Hintergrund des Forschungsproblems und dessen gesellschaftliche Relevanz
- Die Verknüpfung zwischen BERUFE Entdecker mit dem Geschlechterverhältnis auf dem Ausbildungsmarkt und deren gleichstellungsrechtliche Implikation
- 5.2.2 Hypothesen
- 197–242 6 Operationalisierung und methodisches Vorgehen 197–242
- 6.1 Operationalisierung
- 6.1.1 Begriffsklärung
- 6.1.1.1 Spezifikation – Gendered Preexisting Bias in ADM-Systemen der Berufsorientierung
- 6.1.1.2 Spezifikation – Gendered Technical Biases in ADM-Systemen der Berufsorientierung
- Ausgangspunkt der Daten: kein Gendered Preexisting Bias
- Ausgangspunkt der Daten: Gendered Preexisting Bias
- 6.1.1.3 Darstellung – Fälle der Diskriminierung durch ADM-Systeme der Berufsorientierung
- 6.1.2 Indikatoren
- 6.1.3 Metrik der geschlechtsspezifischen Berufslenkung
- 6.1.3.1 Metrik zur Messung eines Gendered Preexisting Bias in den Daten
- 6.1.3.2 Metrik zur Messung eines Gendered Technical Bias im Algorithmus
- 6.2 Methodisches Vorgehen
- 6.2.1 Erhebungsmethoden
- 6.2.2 Aufbereitungsmethoden
- 6.2.3 Auswertungsmethoden
- 243–342 7 Ergebnisse der Untersuchung einer Diskriminierung durch das ADM-System BERUFE Entdecker 243–342
- 7.1 Aufbereitung der Daten
- Berufe
- Tätigkeiten
- Arbeitsbereich
- Zwischenfazit
- 7.2 Diskriminierung durch Gendered Preexisting Biases in den Daten
- 7.2.1 Daten – Inhaltliche Repräsentation
- 7.2.1.1 Indikator A.1 Konten im Sektor Berufsausbildung gemäß iABE
- 7.2.1.2 Indikator A.2 Berufsbereiche gemäß KldB 2010
- 7.2.1.3 Indikator A.3 Produktionsberufe im dualen System
- 7.2.1.4 Indikator A.4 MINT-Berufe im dualen System
- 7.2.1.5 Indikator A.5 Anerkannte Ausbildungsberufe
- 7.2.1.6 Indikator A.6 GES-Ausbildungsberufe
- 7.2.1.7 Indikator A.7 Ausbildungsberufe nach Landesrecht ohne GES-Berufe
- 7.2.1.8 Indikator A.8 Andere Ausbildungsberufe
- 7.2.1.9 Zwischenfazit
- 7.2.2 Daten – Technische Repräsentation
- 7.2.2.1 Vergleich: Technische und inhaltliche Repräsentation der Daten
- 7.2.2.2 Indikator A.3 Produktionsberufe im dualen System
- 7.2.2.3 Indikator A.4 MINT-Berufe im dualen System
- 7.2.2.4 Indikator A.5 Anerkannte Ausbildungsberufe
- 7.2.2.5 Indikator A.6 GES-Berufe nach Bundesrecht außerhalb BBiG/HwO
- 7.2.2.6 Zwischenfazit
- 7.3 Diskriminierung durch Gendered Technical Biases im Algorithmus
- 7.3.1 Algorithmus – Entscheidungslogik von BERUFE Entdecker
- Empfehlung von Arbeitsbereichen – Schritt 1
- Empfehlung von Berufen – Schritt 2
- 7.3.2 Algorithmus – Indikatoren A.1 bis A.6
- 7.4 Zusammenfassung der Ergebnisse
- 7.5 Diskussion der Ergebnisse
- 343–344 8 Fazit & Ausblick 343–344
- 345–376 Literaturverzeichnis 345–376
- 377–397 Anhang 377–397
- Anhang A: Liste der in BERUFE Entdecker zur Empfehlung angelegten Berufe, inhaltliche Repräsentation
- Anhang B: Liste der in BERUFE Entdecker zur Empfehlung angelegten Arbeitsbereiche
- Anhang C: Liste der GES-Ausbildungsberufe in BERUFE Entdecker nach Bundesrecht innerhalb und außerhalb der BBiG/HwO sowie nach Landesrecht
- Anhang D: Liste der Ausbildungsberufe in BERUFE Entdecker, die in einer schulischen Berufsausbildung an Berufsfachschulen außerhalb BBiG/HwO nach Landesrecht absolviert werden (ohne GES-Berufe)
- Anhang E: Liste der Ausbildungsberufe in BERUFE Entdecker, die in der Beamtenausbildung erlernt werden und Ausbildungsberufe, die zu einer militärischen Laufbahn führen – Andere Ausbildungsberufe
