Diskriminierung durch IT in der Berufsorientierung?
Fairness-Auditierung der Webanwendung BERUFE Entdecker von der Bundesagentur für Arbeit
Zusammenfassung
Eine IT der Bundesagentur für Arbeit gab die Empfehlung: Wählt Informatik und Pflege als Beruf – stets entgegen den beruflichen Interessen der Jugendlichen? Die Fairness-Auditierung der Webanwendung BERUFE Entdecker öffnet exemplarisch die Blackbox der algorithmischen, datenbasierten, staatlichen Beratung in der Berufsorientierung. Beantwortet wird, was eine faire, digitale Beratung im Anwendungskontext des SGB III ist und wann eine Diskriminierung der Nutzer:innen vorliegt. Der Sachverhalt des Risikos einer geschlechtsspezifischen Diskriminierung durch einen Bias im Algorithmus und/oder in den Daten wird somit erstmalig operationalisiert – eine Blaupause für weitere Fairness-Auditierungen von IT der digitalen Berufsorientierung.
Abstract
A recommendation system used by the Federal Employment Agency gave young people the following career advice: Choose computer science and nursing as professions! Was this advice always contrary to their vocational interests? Fairness auditing by the web application ‘BERUFE Entdecker’ (online 2015–2021) exemplarily opens the black box of algorithmic, data-based governmental counselling in career guidance. It answers the question of what constitutes fair digital counselling tied to social legislation and when there is discrimination against users. This study is the first to operationalise the issue of the risk of gender-specific discrimination through bias in the algorithm and/or in the data, thus providing a blueprint for further fairness audits by IT in digital career guidance.