Technik und Verantwortung falsch zusammengedacht

Der Therac-25 war ein computergesteuertes Gerät zur Strahlentherapie, das in den 1980er-Jahren in mehreren nordamerikanischen Kliniken eingesetzt wurde. Zwischen 1985 und 1987 kam es bei sechs Patienten zu massiven Überdosierungen, die zu schweren Verletzungen und in mehreren Fällen zum Tod führten. Die spätere Untersuchung gilt bis heute als eines der bekanntesten Lehrbeispiele für sicherheitskritische Software.

Einen einzelnen, klar benennbaren Softwarefehler gab es dabei nicht. Die Untersuchungen zeigten ein Zusammenspiel mehrerer Faktoren. Der Vorgängertyp hatte noch über mechanische Sicherheitsverriegelungen verfügt, die beim Therac-25 durch reine Softwarekontrollen ersetzt wurden, ohne dass die neuen Risiken ausreichend analysiert worden wären. Bestimmte Bedienabläufe konnten unter seltenen zeitlichen Bedingungen dazu führen, dass Sicherheitsprüfungen übersprungen wurden. Die Fehlermeldungen des Geräts waren zudem so kryptisch, dass das Bedienpersonal sie häufig für harmlose Störungen hielt und die Bestrahlung einfach erneut startete, teilweise mehrfach hintereinander bei demselben Patienten.

Beim mechanischen Vorgängergerät hatten Techniker noch physisch nachvollziehen können, ob eine Verriegelung griff. Beim Therac-25 lag diese Sicherheit vollständig in einer Software, die für das Bedienpersonal eine Blackbox blieb. Die Annahme, ein Fehler werde schon irgendwie auffallen, trug im mechanischen System, weil physische Abweichungen oft sichtbar oder spürbar sind. In einem softwaregesteuerten System trägt sie nicht mehr, weil Fehler dort unbemerkt bleiben können, bis der Schaden eingetreten ist. Das technische System griff immer tiefer in einen Prozess mit hohem Schadenspotenzial ein, während die menschliche Aufsicht nicht im gleichen Maß mitwuchs.

Je eigenständiger ein KI-System in sicherheitsrelevanten Bereichen entscheidet oder physische Prozesse steuert, desto weniger genügen gelegentliche Stichproben und das Vertrauen darauf, ein gravierender Fehler werde rechtzeitig auffallen. Ein solches System braucht verständliche Rückmeldungen an das Bedienpersonal und unabhängige Kontrollmechanismen, die nicht selbst Teil der fehleranfälligen Software sind. Nur so wird ungewöhnliches Verhalten rechtzeitig als Warnsignal erkannt.

Der Therac-25 stammt aus einer Zeit lange vor der heutigen Debatte über künstliche Intelligenz. Gerade deshalb zeigt er, wie alt die zugrunde liegende Governance-Frage ist. Sie stellt sich überall dort, wo Organisationen Verantwortung an ein System delegieren, ohne ihre Aufsicht über dieses System im selben Maß auszubauen, wie sie ihm neue Befugnisse übertragen.

Je mehr Verantwortung eine Organisation an ein System überträgt, desto stärker muss ihre Aufsicht darüber mitwachsen. Sicherheitskontrollen gehören nicht allein in die Software, die sie überwachen sollen. Fehlermeldungen müssen für die Bedienenden verständlich sein.

Mehr solcher Fälle gibt es hier!