Die Vergangenheit als Trainingsgrundlage

Amazon begann 2014 mit der Entwicklung eines Systems, das Bewerbungen automatisiert bewerten sollte. Der Gedanke dahinter war naheliegend. Ein Konzern mit einer enormen Zahl an Bewerbungen wollte die Vorauswahl beschleunigen und dabei objektiver machen, als es einzelne Personalreferenten je sein könnten. Trainiert wurde das System mit den Bewerbungsdaten der vergangenen zehn Jahre und damit mit genau den Mustern, die zu den damaligen Einstellungsentscheidungen geführt hatten.

In den technischen Bereichen des Unternehmens waren bis dahin überwiegend Männer eingestellt worden. Das System lernte aus dieser Verteilung, welche Merkmale in der Vergangenheit mit einer Einstellung einhergegangen waren. Ob diese Merkmale etwas über die Eignung eines Bewerbers aussagten, spielte für das Modell keine Rolle. Reuters berichtete 2018, dass Lebensläufe mit dem Wort „women’s“, etwa im Zusammenhang mit einem Frauenschachclub oder einer Frauenhochschule, schlechter bewertet wurden. Amazon versuchte, diese konkrete Verzerrung technisch zu korrigieren. Ob das System dabei andere Merkmale als Stellvertreter für das Geschlecht heranzog, ließ sich jedoch nicht sicher ausschließen. Das Projekt wurde eingestellt, bevor es in der Breite zum Einsatz kam.

Aus diesem Fall wird meist geschlossen, künstliche Intelligenz diskriminiere. Diese Schlussfolgerung greift zu kurz. Ein lernendes System bildet ab, was ihm als Trainingsgrundlage vorgelegt wird. Wer eine bestehende Praxis automatisiert, verewigt zwangsläufig die Annahmen, auf denen diese Praxis beruhte, selbst wenn sie nie ausdrücklich formuliert wurden.

Bevor ein Unternehmen seine bisherige Einstellungspraxis in ein automatisiertes System gießt, sollte es deshalb prüfen, ob diese Praxis dem Bild entspricht, das es für die eigene Zukunft anstrebt. Diese Prüfung betrifft die eigene Geschichte und hat mit Technik zunächst wenig zu tun. Ein System, das historische Daten verarbeitet, kann sie nicht ersetzen. Im besten Fall macht es sichtbar, was vorher verborgen war, so wie bei Amazon, allerdings erst nachdem der Fehler bereits eingebaut war.

Trainingsdaten sind die kodierte Geschichte der eigenen Entscheidungen. Wer diese Geschichte nicht kennt oder nicht kritisch hinterfragt, überträgt sie unweigerlich in die nächste Generation von Entscheidungen, nun mit dem Anschein von Objektivität, den ein automatisiertes Verfahren mit sich bringt. Governance beginnt in diesem Fall lange vor der Kontrolle des Systems, nämlich bei der ehrlichen Betrachtung dessen, was ein Unternehmen in der Vergangenheit belohnt hat.

Wer eine bisherige Praxis automatisiert, übernimmt ihre stillschweigenden Annahmen. Vor einem KI-gestützten Auswahlverfahren steht deshalb die ehrliche Prüfung, was die Organisation in der Vergangenheit belohnt hat und ob sie das künftig noch will.

Mehr solcher Fälle gibt es hier!