Noras Unternehmen nutzt ein automatisiertes System zur Vorauswahl von Bewerbern. Nachdem eine fachlich geeignete Kandidatin aufgrund eines ungewöhnlichen Lebenslaufs automatisch ausgeschlossen wurde, beginnt Nora die Grenzen des Systems grundsätzlicher zu hinterfragen.
So könnte dein Monolog klingen.
Noras Unternehmen hatte durchaus nachvollziehbare Gründe für die Einführung des automatisierten Auswahlverfahrens. Tausende Bewerbungen mussten verarbeitet werden, und menschliche Recruiter trafen ihre Vorauswahl keineswegs immer konsistent.
Müdigkeit, persönliche Sympathie oder unbewusste Vorurteile können menschliche Entscheidungen ebenso verzerren wie fehlerhafte Modelle. Deshalb wäre es zu kurz gegriffen, menschliches Urteil grundsätzlich als fair und algorithmische Verfahren grundsätzlich als problematisch zu betrachten.
Der Fall der erfahrenen Bewerberin zeigt jedoch eine entscheidende Grenze. Das System interpretierte eine längere Erwerbsunterbrechung als negatives Signal, weil historische Unternehmensdaten kontinuierliche Beschäftigung mit späterem beruflichem Erfolg verbanden.
Dabei konnte es den konkreten Grund der Unterbrechung und die weiterhin vorhandene fachliche Erfahrung kaum angemessen einordnen. Genau darin liegt ein strukturelles Problem datenbasierter Systeme: Sie können bestehende Muster sehr konsequent reproduzieren, obwohl diese Muster selbst gesellschaftlich fragwürdig sind.
Wenn bestimmte Gruppen in der Vergangenheit seltener eingestellt oder befördert wurden, kann ein auf diesen Daten trainiertes System diese Ungleichheit als scheinbar objektive Prognose fortschreiben. Daraus folgt allerdings nicht, dass Algorithmen keine legitime Rolle spielen sollten.
Sie können Informationen strukturieren, ungewöhnliche Fälle markieren und menschliche Entscheidungen konsistenter machen. Ausschlaggebend ist vielmehr, welche Folgen eine Entscheidung hat und ob sie korrigierbar bleibt.
Je stärker sie über berufliche Chancen, Bildung oder den Zugang zu grundlegenden Leistungen entscheidet, desto weniger vertretbar erscheint mir eine vollständig automatisierte Endentscheidung. Ebenso wichtig sind Erklärbarkeit und Anfechtbarkeit.
Eine betroffene Person sollte erfahren können, welche Faktoren relevant waren, und falsche Daten oder unangemessene Annahmen überprüfen lassen können. Menschliche Aufsicht darf dabei nicht bloß formal existieren.
Wenn ein Mitarbeiter einen algorithmischen Vorschlag praktisch immer bestätigt, ohne ihn eigenständig beurteilen zu können, bleibt die Verantwortung faktisch beim System. Für mich sollten Algorithmen daher vor allem dort unterstützen, wo sie menschliche Urteile verbessern können.
Die endgültige Entscheidung sollte dagegen beim Menschen bleiben, wenn schwerwiegende Konsequenzen, individuelle Kontexte oder gesellschaftlich umstrittene Wertentscheidungen betroffen sind.