Das Falsche perfekt gemessen

Eine 2019 im Fachjournal Science veröffentlichte Studie von Ziad Obermeyer und Kollegen untersuchte einen Algorithmus, der in amerikanischen Gesundheitssystemen weit verbreitet war. Er entschied mit darüber, welche Patienten in besondere Betreuungsprogramme für Menschen mit hohem Versorgungsbedarf aufgenommen wurden. Die Forscher stellten fest, dass der Algorithmus Schwarze Patienten bei gleichem Gesundheitszustand systematisch niedriger einstufte als weiße Patienten und ihnen dadurch seltener Zugang zu diesen Programmen verschaffte.

Diskriminierende Trainingsdaten oder ein Programmierfehler im engeren Sinne lagen dem nicht zugrunde. Der Algorithmus sollte den künftigen medizinischen Bedarf eines Patienten vorhersagen. Als Grundlage dienten jedoch die bisherigen Gesundheitskosten, weil diese Daten deutlich leichter verfügbar waren als eine unabhängige klinische Bewertung des Bedarfs.

Diese Wahl der Messgröße hatte Folgen. Aufgrund struktureller Unterschiede im Zugang zum Gesundheitssystem verursachten Schwarze Patienten bei vergleichbarem Bedarf im Durchschnitt geringere Kosten als weiße Patienten, etwa weil sie seltener oder später ärztliche Leistungen in Anspruch nahmen. Der Algorithmus deutete die niedrigeren Kosten als geringeren Bedarf und schätzte die Gesundheit dieser Patienten deshalb systematisch zu gut ein.

Aus technischer Sicht funktionierte der Algorithmus bemerkenswert gut. Er sagte die künftigen Gesundheitskosten mit hoher Genauigkeit voraus. Fehlerhaft war bereits die Frage, die man ihm gestellt hatte, weil Kosten und medizinischer Bedarf stillschweigend gleichgesetzt wurden, obwohl beide Größen bei unterschiedlichen Bevölkerungsgruppen systematisch auseinanderfallen können. Anders als in vielen Fällen algorithmischer Verzerrung lässt sich hier weder ein einzelner fehlerhafter Datensatz noch ein diskriminierendes Merkmal benennen.

Unbequem ist daran vor allem, dass sich das Problem weder durch bessere Daten noch durch sorgfältigeres Testen beheben lässt. Bevor eine Organisation ein Vorhersagemodell entwickelt oder einkauft, muss sie klären, ob die gewählte Zielgröße misst, was inhaltlich gemeint ist, oder nur eine praktisch verfügbare Annäherung darstellt, die mit dem Ziel lose zusammenhängt. Diese Prüfung liegt vor jeder technischen Validierung und kann durch sie nicht ersetzt werden. Ein Modell, das die falsche Frage perfekt beantwortet, bleibt in seiner Wirkung falsch.

Ein Modell kann technisch hervorragend funktionieren und trotzdem Schaden anrichten, sobald es die falsche Größe vorhersagt. Vor jeder Validierung gehört geklärt, ob die Zielgröße misst, was inhaltlich gemeint ist.

Mehr solcher Fälle gibt es hier!