Der private Link zeigt ausschließlich die eigene Rollenkarte. Die andere Rolle bleibt verborgen.
Nach dem Lesen kann jede Person ihre Karte mit „Bildschirm sperren“ sofort wieder verdecken.
So könnte eure Verhandlung klingen.
Der Pilot zeigt zunächst einmal, dass unser automatisiertes Verfahren einige reale Probleme des bisherigen Systems reduziert. Ähnliche Kunden wurden früher je nach Sachbearbeiter teilweise unterschiedlich beurteilt.
Das überrascht mich nicht. Menschliches Ermessen ist keineswegs automatisch fair.
Unsere Beschwerden zeigen allerdings eine andere Schwäche des neuen Systems. A: Welche Fälle meinst du?
Vor allem Selbstständige, Menschen mit schwankendem Einkommen und Personen, die erst vor Kurzem den Arbeitsplatz gewechselt haben. Einige wurden als besonders riskant eingestuft, obwohl eine spätere manuelle Prüfung stabile finanzielle Verhältnisse gezeigt hat.
Gerade ungewöhnliche Fälle sind natürlich schwieriger. Bei standardisierten Anträgen arbeitet das Modell dagegen deutlich schneller und sagt Zahlungsausfälle besser voraus als unser altes Scoring.
Dann spricht einiges dafür, solche Standardfälle weiterhin zu automatisieren. Aber wir sollten nicht so tun, als wäre statistische Genauigkeit dasselbe wie eine faire individuelle Entscheidung.
Welche Grenze würdest du ziehen? B: Zunächst würde ich positive und negative Entscheidungen unterschiedlich behandeln.
Eine automatische Genehmigung eines klar unproblematischen Antrags halte ich für wesentlich weniger kritisch als eine endgültige automatische Ablehnung. A: Weil die Ablehnung eine Möglichkeit verhindert?
Genau. Außerdem haben abgelehnte Kunden bisher nur eine sehr allgemeine Begründung erhalten.
Sie wissen kaum, welche Daten problematisch waren. A: Vollständige technische Modellinformationen können wir ihnen allerdings nicht sinnvoll erklären.
Das verlange ich auch nicht. Eine Erklärung des gesamten Modells ist etwas anderes als eine Erklärung der konkreten Entscheidung.
Ein Kunde sollte beispielsweise erfahren können, dass bestimmte Einkommensschwankungen oder ein gespeicherter Schuldeneintrag entscheidend waren. A: Das wäre grundsätzlich machbar.
In einem unserer Fälle war genau dieser Schuldeneintrag veraltet. Ohne verständliche Begründung hätte die Person den Fehler überhaupt nicht entdeckt.
Dann brauchen wir auf jeden Fall eine einfache Möglichkeit zur Datenkorrektur. B: Und eine echte menschliche Überprüfung.
Die gibt es doch bereits im Beschwerdeverfahren. B: Formal ja.
Das Problem ist, dass die Mitarbeiter zuerst die Risikoeinstufung des Systems sehen. Unsere vorläufigen Daten zeigen, dass sie die ursprüngliche Entscheidung fast nie verändern.
Du vermutest also einen Automatisierungsbias? B: Zumindest besteht das Risiko.
Wenn die Aufgabe nur darin besteht, eine bereits präsentierte Entscheidung zu kontrollieren, orientiert man sich sehr leicht an ihr. A: Wie würdest du das verhindern?
Der Beschwerdebearbeiter sollte die relevanten Unterlagen zunächst selbst beurteilen und die algorithmische Empfehlung erst danach sehen. A: Das wäre aufwendiger, aber bei Beschwerden vermutlich vertretbar.
Bei jedem normalen Antrag wäre es dagegen kaum praktikabel. B: Das verlange ich nicht.
Wir brauchen ein gestuftes Modell. A: Dann würde ich vorschlagen: eindeutig standardisierte Niedrigrisikofälle können vollständig automatisiert genehmigt werden.
Einverstanden. Was passiert bei automatischen Ablehnungen?
Sie könnten zunächst als vorläufig gelten. Der Kunde erhält die wesentlichen Gründe und kann eine menschliche Prüfung verlangen.
Bei bestimmten ungewöhnlichen Mustern würde ich sogar verlangen, dass die menschliche Prüfung automatisch erfolgt und nicht erst beantragt werden muss. A: Welche Muster meinst du?
Zum Beispiel Selbstständigkeit, stark schwankende, aber langfristig stabile Einkommen oder andere Fälle, bei denen Standarddaten den Kontext möglicherweise schlecht abbilden. A: Das lässt sich als Ausnahmekategorie definieren.
Bei sehr großen oder existenziell wichtigen Krediten würde ich ebenfalls keine vollständig automatisierte Ablehnung zulassen. B: Genau.
Die Tragweite der Entscheidung muss berücksichtigt werden. A: Dann brauchen wir zusätzlich regelmäßige Audits.
Im Pilot hat das Entfernen einiger irrelevanter persönlicher Informationen Unterschiede zwischen den Filialen sogar reduziert. B: Das ist ein Argument dafür, die Technik nicht einfach abzulehnen.
Die Audits sollten allerdings nicht nur die allgemeine Genauigkeit messen, sondern auch systematische Unterschiede zwischen Gruppen und die Qualität von Beschwerden untersuchen. A: Einverstanden.
Und die Verantwortung bleibt bei der Bank, auch wenn ein externer Anbieter das Modell entwickelt hat. B: Das ist für mich zentral.
Betroffene dürfen nicht zwischen Bank, Softwareanbieter und automatisiertem System hin- und hergeschickt werden. A: Dann hätten wir ein abgestuftes Modell: Automatisierung für einfache Fälle, automatische menschliche Prüfung bei bestimmten Ausnahmen, ein unabhängiges Beschwerdeverfahren und regelmäßige Audits.
Plus verständliche Entscheidungsgründe und die Möglichkeit, falsche Daten zu korrigieren. A: Damit behalten wir einen großen Teil der Effizienz, ohne so zu tun, als könne eine statistische Prognose jede individuelle Entscheidung vollständig ersetzen.