Ein Computer, der immer recht hat

Zwischen 1999 und 2015 wurden in Großbritannien mehr als 900 Betreiber von Postfilialen strafrechtlich verfolgt, weil das IT-Buchhaltungssystem Horizon der Post Office Limited angebliche Fehlbeträge in ihren Kassen auswies. Viele wurden wegen Diebstahls, Betrugs oder Untreue verurteilt, einige kamen ins Gefängnis, andere verloren ihr Vermögen, ihre Existenz oder ihre Ehe. Mehrere Betroffene nahmen sich das Leben. Die britische Criminal Cases Review Commission bezeichnet den Fall als den umfangreichsten Justizirrtum, mit dem sie je befasst war.

Erst 2019 stellte der High Court in einem Zivilverfahren, das Betroffene gemeinsam angestrengt hatten, fest, dass Horizon Fehler enthielt, die solche Fehlbeträge verursachen konnten. Viele der angeblichen Fehlbeträge hatten nie existiert. Seit 2020 arbeitet eine öffentliche Untersuchung den Fall auf. 2024 hob ein eigenes Gesetz einen Großteil der Verurteilungen pauschal auf.

Erschütternd ist neben der fehlerhaften Software die Konsequenz, mit der Post Office Limited fast zwei Jahrzehnte an der Zuverlässigkeit von Horizon festhielt, selbst als Betroffene die Fehlerhaftigkeit des Systems bereits vor Gericht geltend machten. Unterlagen, die im Lauf der Aufarbeitung öffentlich wurden, zeigen, dass in der Organisation Kenntnis von technischen Problemen bestand. Nach außen galt weiter die Position, Horizon arbeite fehlerfrei und die Filialbetreiber trügen die alleinige Verantwortung für die Differenzen.

Das Ergebnis des Systems genoss von vornherein mehr Vertrauen als die Erfahrung der Menschen, die täglich mit ihm arbeiteten. Die Beweislast lag faktisch bei den Betroffenen, die einem Computer widersprechen mussten, in dessen Innenleben sie keinen Einblick hatten. Damit verlor die Organisation genau die Fähigkeit, die sie am dringendsten brauchte, sobald ein System fehlerhaft arbeitet. Ohne diese Fähigkeit zur Selbstkorrektur setzte sich ein einmal etablierter Irrtum über Jahre fort, mit verheerenden Folgen für Hunderte Menschen.

Aufsichtsgremien in Unternehmen, Vereinen oder kirchlichen Einrichtungen sollten diesen Fall kennen. Je überzeugender ein System auftritt, mit dem eine Organisation Kassen, Leistungen oder Mitgliederdaten verwaltet, desto größer wird die Versuchung, seine Ergebnisse unhinterfragt zu übernehmen und abweichende menschliche Einschätzungen als Fehlerquelle abzutun, obwohl sie ein Hinweis auf ein Systemproblem sein können. Ein Gremium, das ein solches System nutzt, um Menschen zu bewerten oder zu sanktionieren, braucht deshalb einen fest verankerten Zweifel an der eigenen Technik. Dieser Zweifel gehört in die normalen Abläufe und darf nicht erst unter öffentlichem Druck entstehen.

Je überzeugender ein System auftritt, desto wichtiger wird der institutionalisierte Zweifel an seinen Ergebnissen. Abweichende Erfahrungen der Menschen, die mit ihm arbeiten, können der erste Hinweis auf einen Systemfehler sein.

Mehr solcher Fälle gibt es hier!