Ein Treffer ist noch keine Entscheidung

Im Januar 2020 nahm die Polizei in Detroit Robert Williams fest, weil ein Gesichtserkennungssystem sein Foto einer Überwachungsaufnahme aus einem Ladendiebstahl zugeordnet hatte. Der Treffer erwies sich als falsch. Williams verbrachte dennoch rund 30 Stunden in Polizeigewahrsam, bevor die Sache aufgeklärt war. Der Fall gilt als erste öffentlich bekannt gewordene Festnahme in den Vereinigten Staaten, die auf einem fehlerhaften Ergebnis der Gesichtserkennung beruhte.

Williams verklagte die Stadt Detroit. Der Rechtsstreit endete 2024 mit einer Einigung, die über eine Entschädigung hinausging. Ein zentraler Bestandteil verlangt, dass Treffer der Gesichtserkennung durch weitere, unabhängige Ermittlungsschritte bestätigt werden, bevor daraus Konsequenzen für eine Person folgen. Der bloße Treffer reicht dafür nicht mehr aus.

In dieser Regelung steckt eine Governance-Idee, die sich einfach formulieren lässt und trotzdem selten konsequent umgesetzt wird. Ein automatisiertes System darf einen Hinweis liefern, während die Entscheidung bei einem Menschen bleibt. Zwischen dem Ergebnis eines Algorithmus und einer folgenreichen Handlung gegenüber einer Person muss ein Schritt liegen, in dem jemand das Ergebnis prüft, mit weiteren Informationen abgleicht und die Entscheidung selbst verantwortet.

Diese Trennung lässt sich auf viele Bereiche außerhalb der Strafverfolgung übertragen. Ein System zur Betrugserkennung darf eine verdächtige Transaktion markieren, die Sperrung des Kontos sollte trotzdem ein Mensch veranlassen. Bei Bewerbungen kann eine Software eine Rangfolge vorschlagen, ohne dass deshalb jemand ungelesen aussortiert wird. Ähnliches gilt für Hinweise auf mögliche Compliance-Verstöße, die ein System zur Prüfung vorlegt. Ob ein solcher Hinweis im Einzelfall zutrifft, bleibt stets eine Bewertung in menschlicher Verantwortung.

Der Fall Williams zeigt, wie hoch der Preis sein kann, sobald diese Trennung fehlt und ein technisches Ergebnis ohne eigenständige Bewertung in eine folgenreiche Handlung übersetzt wird.

Ein System darf markieren, priorisieren und vorschlagen. Entscheidungen mit Folgen für einen Menschen trifft ein Mensch, der sie prüfen, erklären und verantworten kann.

Mehr solcher Fälle gibt es hier!