Abraham Wald und die Flugzeuge, die nicht zurückkamen

Im Zweiten Weltkrieg arbeitete an der Columbia University in New York eine kleine Gruppe von Mathematikern und Statistikern für das amerikanische Militär, die Statistical Research Group. Zu ihr gehörte Abraham Wald, ein in Siebenbürgen geborener Mathematiker, der 1938 vor den Nationalsozialisten aus Wien in die Vereinigten Staaten geflohen war. Eine seiner Aufgaben betraf eine Frage, von der das Leben vieler Bomberbesatzungen abhing. Wo sollten die Flugzeuge zusätzlich gepanzert werden?

Panzerung kostet Gewicht. Jedes zusätzliche Kilo verringert Reichweite, Wendigkeit und Bombenlast. Man konnte die Maschinen deshalb nicht überall verstärken und musste entscheiden, wo Panzerung den größten Nutzen bringt. Als Grundlage dienten die Flugzeuge, die von ihren Einsätzen zurückkehrten. An ihnen ließ sich genau ablesen, wo sie getroffen worden waren. Die Einschusslöcher häuften sich an den Tragflächen, am Rumpf und am Leitwerk. An den Triebwerken und im Bereich des Cockpits fanden sich dagegen auffällig wenige.

Hier die Grafik einfügen (bomber-einschuesse.png).

Der naheliegende Schluss lautete, dort zu verstärken, wo die meisten Treffer saßen. Wald zog den umgekehrten Schluss. Die untersuchten Flugzeuge waren zurückgekommen. Ihre Einschusslöcher zeigten deshalb vor allem, wo eine Maschine getroffen werden konnte und trotzdem noch heimkehrte. Die Flugzeuge, die an den Triebwerken oder am Cockpit getroffen worden waren, fehlten in der Stichprobe, weil sie nicht zurückgekommen waren. Die Lücken im Bild der Einschüsse markierten also genau die Stellen, an denen ein Treffer tödlich war. Dort gehörte die Panzerung hin.

Die Geschichte wird heute meist zugespitzt erzählt. Belegt sind Walds Untersuchungen, in denen er mathematische Verfahren entwickelte, um aus den Schäden zurückgekehrter Flugzeuge auf die Verwundbarkeit der verlorenen zu schließen. Ob Offiziere tatsächlich schon im Begriff waren, die falschen Stellen zu panzern, ist dagegen nicht überliefert. Die bekannte Grafik eines Bombers mit roten Punkten, die heute unzählige Präsentationen zum Thema schmückt, ist eine moderne Illustration und kein historisches Dokument. An der Erkenntnis ändert das nichts.

Den Denkfehler, den Wald vermied, nennt man heute Survivorship Bias, auf Deutsch etwa Überlebensirrtum. Er entsteht, sobald man aus den Fällen, die einen Auswahlprozess überstanden haben, Schlüsse über alle zieht. In Organisationen begegnet er häufiger, als man denkt. Mitarbeiterbefragungen erreichen die Beschäftigten, die geblieben sind. Wer wegen der Arbeitsbedingungen gekündigt hat, taucht in den Ergebnissen nicht mehr auf. Vereine befragen ihre Mitglieder und erfahren wenig von denen, die ausgetreten sind. Kirchengemeinden sprechen vor allem mit den Menschen, die zum Gottesdienst kommen. Wer sich leise verabschiedet hat, wird selten gefragt.

Für KI-Systeme gilt dasselbe. Wer ein Modell nur mit den Fällen trainiert, die ein früheres Auswahlverfahren überstanden haben, bringt ihm vor allem bei, was die Vergangenheit ausgesiebt hat. Der Fall Amazon aus der ersten Sammlung zeigt, wohin das führen kann. Die Frage nach dem, was in den Daten fehlt, ist unbequem, weil sie nach Informationen verlangt, die niemand erhoben hat. Oft gibt es trotzdem Wege, sich ihnen zu nähern, etwa über Austrittsgespräche, Befragungen ehemaliger Mitglieder oder eine ehrliche Auswertung abgebrochener Projekte. Manchmal genügt es schon, bei jeder Auswertung festzuhalten, wer in den Daten fehlt und warum.

Daten zeigen nur, was es in sie hineingeschafft hat. Vor jeder Auswertung lohnt die Frage, wer oder was gar nicht erst in den Daten auftaucht, etwa ehemalige Mitglieder, gekündigte Beschäftigte oder abgebrochene Projekte. Oft steckt die wichtigste Information genau in dieser Lücke.

Mehr aus der Reihe findet sich in der Übersicht unter: Aus der Geschichte lernen