Eine Kontrolle, die niemand wirksam nutzen kann, ist keine Kontrolle

Am 1. August 2012 schickte ein automatisiertes Handelssystem des amerikanischen Börsenhändlers Knight Capital innerhalb von etwa 45 Minuten Millionen fehlerhafter Orders an den Markt. Die US-Börsenaufsicht SEC stellte später fest, dass daraus mehr als vier Millionen ausgeführte Transaktionen entstanden waren. Knight Capital verlor mehr als 460 Millionen US-Dollar und musste kurz darauf von einer Gruppe von Investoren gerettet werden.

Auslöser war ein Fehler beim Aufspielen neuer Software. Auf einem von acht Handelsservern fehlte der neue Code. Dort aktivierte ein umgewidmetes Steuersignal eine alte, seit Jahren stillgelegte Orderfunktion, die ungebremst Aufträge erzeugte. Die meisten Darstellungen des Falls stellen diese technische Ursache in den Vordergrund. Für die Governance ist sie zweitrangig, weil sich fehlerhafter Code in komplexen Systemen niemals vollständig ausschließen lässt.

Ein Fehler dieser Größenordnung ließ sich nicht binnen weniger Minuten stoppen, obwohl seine Ursache am Ende banal war. Schon vor Handelsbeginn hatte das System fast hundert automatische E-Mails mit Hinweisen auf die fehlerhafte Konfiguration verschickt, die niemand als Warnung erkannte. Für einen solchen Vorfall gab es keine schriftlich festgelegten Abläufe. Während der Handelszeit verschlimmerte das Team die Lage sogar, weil es den neuen Code ausgerechnet von den korrekt laufenden Servern entfernte. Weder war klar geregelt, wer ein auffälliges System sofort abschalten durfte, noch waren die Warnsignale so gestaltet, dass die Verantwortlichen den Ausnahmefall rechtzeitig erkennen konnten.

Dieses Muster lässt sich fast eins zu eins auf heutige Fragen der KI-Governance übertragen. Vier Fragen ziehen sich durch beide Welten. Wer darf ein automatisiertes System sofort abschalten, sobald es sich auffällig verhält? Ab welcher Schwelle an Fehlern oder Abweichungen muss diese Abschaltung erfolgen? Wer ist dafür verantwortlich, den Ausnahmefall in Echtzeit zu erkennen, statt ihn erst im Nachhinein in einem Bericht zu dokumentieren? Was geschieht, sobald ausgerechnet der Kontrollmechanismus versagt, der vor genau diesem Szenario schützen sollte?

Organisationen, die automatisierte Systeme mit erheblicher wirtschaftlicher oder rechtlicher Tragweite einsetzen, sollten diese Fragen vor einem Vorfall beantworten. Eine Kontrolle, die auf dem Papier existiert und im Ernstfall von niemandem rechtzeitig ausgelöst werden kann, wirkt in der Praxis kaum anders als eine fehlende Kontrolle. Knight Capital verfügte über technische Sicherungen. Es fehlte die organisatorische Klarheit, sie im entscheidenden Moment einzusetzen.

Eine Kontrolle wirkt nur, sobald jemand sie im Ernstfall rechtzeitig auslösen darf und kann. Wer ein automatisiertes System einsetzt, klärt vorher, wer es abschaltet, ab welcher Schwelle und wer Warnsignale in Echtzeit beobachtet.

Mehr solcher Fälle gibt es hier!