Kennzahlen und ihre Tücken

Ich bin zugegeben ein großer Fan von Kennzahlen und habe als Unternehemsberater diese auch in Unternehmen eingeführt. Aber auch wer täglich mit Verträgen, Datenschutzfolgenabschätzungen und Gremienentscheidungen zu tun hat, weiß eine Zahl zu schätzen, die sich nicht wegdiskutieren lässt. Genau deshalb ärgert es mich, wenn aus einer sauberen Kennzahl Schlussfolgerungen gezogen werden, die sie gar nicht trägt. Drei Beispiele aus der Forschung zeigen das gut.

Schwangere Autofahrerinnen und die Statistik der schweren Unfälle
Eine kanadische Studie von Redelmeier, May, Thiruchelvam und Barrett aus dem Jahr 2014 wertete die Unfalldaten von über 500.000 Frauen aus, die in Ontario entbunden hatten. Verglichen wurde die Unfallrate jeder Frau vor der Schwangerschaft mit ihrer eigenen Rate im zweiten Trimester, unabhängig von Alter, Einkommen und Bildung stieg die Zahl der schweren Unfälle um 42 Prozent. Als schwerer Unfall zählte dabei ein Crash, der zu einem Besuch in der Notaufnahme führte.
An dieser Definition hängt das ganze Problem. Ein Notaufnahmebesuch ist keine objektive Verletzungsschwere. Er ist eine Entscheidung und diese Entscheidung hängt auch davon ab, wie unsicher sich jemand fühlt. Nach einem harmlosen Auffahrunfall wird eine Schwangere eher zur Abklärung fahren als eine nicht schwangere Frau in derselben Situation, weil niemand das Risiko einer unbemerkten Komplikation beim ungeborenen Kind eingehen will. Die Kennzahl würde dann eher Vorsicht messen als Fahrunsicherheit. Die Autoren selbst favorisieren diese Erklärung allerdings nicht und vermuten eher Müdigkeit, Schlafstörungen, Übelkeit und Ablenkung als Ursache. Dafür spricht auch das Studiendesign, jede Frau wurde gegen ihre eigene Unfallrate vor der Schwangerschaft verglichen, was ausschließt, dass grundsätzlich risikofreudigere Fahrerinnen das Bild verzerren. Die Vorsichtsthese bleibt trotzdem eine plausible Nebenerklärung, die in der Studie selbst offen bleibt. In der medialen Verkürzung geht diese Offenheit meist komplett verloren, aus der validen Studie wird die griffige Aussage, schwangere Frauen fahren unsicherer und die Ursache landet stillschweigend bei der Fahrerin statt bei den Umständen der Erhebung.

Der Marshmallow-Test
Mischel, Shoda und Peake stellten in den achtziger Jahren Vierjährige vor die Wahl, sofort einen Marshmallow zu essen oder fünfzehn Minuten zu warten und dafür zwei zu bekommen. Kinder, die warten konnten, waren in Nacherhebungen Jahre später erfolgreicher in Schule und Beruf, woraus ein Erziehungsprinzip von enormer Reichweite wurde, Selbstkontrolle in der frühen Kindheit als Fundament für späteren Erfolg. Erziehungsratgeber haben das jahrzehntelang so weitergegeben.
Dabei war die Stichprobe des Originalexperiments klein und stammte fast ausschließlich aus dem akademisch geprägten Umfeld einer Stanford-Vorschule. Die Konzeptreplikation von Watts, Duncan und Quan aus 2018 arbeitete mit einer größeren und sozial durchmischten Stichprobe und fand nur noch die Hälfte der ursprünglichen Korrelation, unter Kontrolle von familiärem Hintergrund und frühen kognitiven Fähigkeiten schrumpfte davon noch einmal zwei Drittel weg. Kinder aus finanziell unsicheren Verhältnissen griffen häufiger sofort zu, eine rationale Reaktion auf eine Umgebung, in der ein Versprechen auf später nicht immer eingehalten wird. Eine Folgeerhebung bis zum sechsundzwanzigsten Lebensjahr fand 2024 praktisch keine verlässliche Vorhersagekraft des Tests mehr. Ein Test, der über Jahrzehnte als Beleg für die Bedeutung individueller Willenskraft galt, bildete am Ende vor allem die soziale Herkunft ab.

Die New Yorker Chirurgen-Ranglisten
Seit 1989 veröffentlicht der Bundesstaat New York risikoadjustierte Sterblichkeitsraten für Herzchirurgen, mit der Absicht, Patienten eine informierte Wahl zu ermöglichen und Qualität sichtbar zu machen. Die veröffentlichten Zahlen sanken in den Folgejahren tatsächlich, das Ziel schien erreicht. Mehrere Untersuchungen dokumentierten allerdings, unter anderem die Recherche von Robert Kolker für das New York Magazine sowie ökonomische Studien von Dranove und Kollegen, dass Chirurgen begannen, Hochrisikopatienten seltener zu operieren oder in andere Bundesstaaten zu verweisen. Ein Todesfall bei einem ohnehin kritischen Patienten hätte die eigene Kennzahl beschädigt, also wich man solchen Fällen aus. Der Kardiologe David Brown von der SUNY Stony Brook brachte es in Kolkers Recherche so auf den Punkt, an seinem Haus gebe es weiterhin Ärzte, die keinen Hochrisikopatienten behandeln würden, er selbst habe einen unbehandelten Herzinfarkt am Montagmorgen gesehen. Die Statistik wurde besser, während ausgerechnet die Patienten mit dem größten Bedarf schlechter versorgt wurden.

Der gemeinsamer Nenner
In allen drei Studien war die Kennzahl methodisch sauber, die Zahlen stimmten. Das Problem liegt in der Definition dessen, was gemessen wird, diese Definition ist selten neutral gegenüber dem Verhalten der gemessenen Menschen. Ein Notaufnahmebesuch hängt vom subjektiven Sicherheitsbedürfnis ab, ein Testergebnis vierjähriger Kinder hängt vom familiären/sozialen Erfahrungshorizont ab, eine Sterblichkeitsrate hängt davon ab, welche Patienten überhaupt noch behandelt werden.
Für mich bedeutet dies, dass ich Kennzahlen bei aller Vorliebe nicht unkritisch hinzunehmen. Bei Abweichungen hinzuschauen und nach den Hintergründen zu fragen, statt reflexhaft zur naheliegendsten Erklärung zu greifen, gehört dazu. Zwei Beispiele aus der eigenen Praxis liegen mir näher als die drei Studien oben.

In einer Gremiensitzung, in der ich beratend eingeladen war, habe ich erlebt, wie gut aufbereitete Kennzahlen wirken können. Alle im Raum wussten von Anfang an, worüber gerade gesprochen wurde, das hat der Entscheidungsfindung und der eigenen Argumentation sichtbar geholfen. Wer mit Kennzahlen vorträgt, wirkt dadurch auch kompetenter, die Zahl macht die eigene Position greifbar und schafft Vertrauen. Zugleich verschafft man den Entscheidenden mehr Möglichkeit zur eigenen Einsichtnahme, vorausgesetzt die Kennzahlen sind passend gewählt und sauber aufbereitet. Die kleine Gefahr dabei lag nämlich an einer anderen Stelle als bei den drei Studien oben, am Beobachtungszeitraum selbst. Eine Kennzahl, die erst über sechs Monate geführt wurde, kann zu kurz gegriffen sein, um eine tatsächliche Entwicklung zu zeigen, zwei Quartale sind mitunter Rauschen aber nur bedingt eine belastbare Tendenz und saisonale Faktoren können hier stark durchschlagen.

Zum Beispiel kann dies den Krankenstand betreffen, diesen zu erfassen ist nicht schwer, daraus die richtigen Schlüsse zu ziehen, das ist nochmal etwas anderes. Ich habe erlebt wie Krankenstandzahlen aus der Coronazeit mit den heutigen verglichen wurden und das ergibt wenig Sinn, damals prägten Pandemiewellen das Bild, heute spielen andere Faktoren hinein, Hitzewellen und saisonale Krankheitswellen etwa. Was in der reinen Zahl daneben kaum auftaucht, ist ein Faktor, der im Betrieb selbst liegen kann. Dass psychischer Stress die Anfälligkeit für Infekte erhöht, ist seit der kontrollierten Studie von Cohen, Tyrrell und Smith aus dem Jahr 1991 gut belegt, die Probanden wurden gezielt Erkältungsviren ausgesetzt und diejenigen mit höherem Stresslevel erkrankten deutlich häufiger. Auf den Betrieb übertragen bedeutet das, ein angespanntes oder unzufriedenes Arbeitsklima kann über den Umweg Stress selbst zu einer höheren Fehlzeitenquote beitragen, ganz ohne dass eine Grippewelle im Spiel sein muss. Eine steigende Fehlzeitenquote kann eine Krankheitswelle widerspiegeln, ein belastendes Betriebsklima oder schlicht einige wenige Langzeiterkrankungen, die den Durchschnitt allein nach oben ziehen, ohne dass sich am Gesundheitszustand der übrigen Belegschaft etwas verändert hätte. Die reine Zahl sieht in all diesen Fällen identisch aus, erst der Blick hinter die Zahl zeigt, mit welchem der drei Erklärungsmuster (oder auch noch weiteren) man es tatsächlich zu tun hat.