Aufsicht und KI

Ich spreche oft mit Kolleginnen und Kollegen aus Beiräten, Verwaltungsräten oder Aufsichtsgremien und mir fällt dabei ein Muster auf. Über KI wird derzeit viel gesprochen, aber erstaunlich selten aus der Perspektive der Aufsicht. Es geht dann um Effizienzgewinne, um neue Tools, um die Frage, wer im Unternehmen mit KI arbeiten darf. Was eigentlich näherliegt und trotzdem meistens fehlt, ist die Frage nach der Bedeutung für uns als Gremium. Nicht für die operative Ebene, sondern für die, die sie beaufsichtigen soll.

Und ich meine damit ausdrücklich nicht den Beirat, der sich einmal im Jahr eine KI-Präsentation der Fachabteilung anhört und das anschließend als „behandelt" abhakt. Zu oft erschöpft sich das Thema in einem Tagesordnungspunkt, einem Workshop und dem beruhigenden Gefühl, man habe sich damit beschäftigt. Wirkung entfaltet das selten. Echte Aufsicht sieht anders aus und genau darum soll es hier gehen.

Kurz vorab eine Klärung. Mit „Aufsicht" meine ich hier nicht die behördliche Aufsicht, wie sie etwa die Stiftungs- oder Kirchenaufsicht ausübt. Gemeint ist die Überwachungsfunktion eines Gremiums selbst, also die Pflicht, sich zu informieren und auf dieser Grundlage Entscheidungen zu treffen. In diesem Sinn verwende ich Aufsicht und Überwachung im Folgenden synonym.

Der Rechtsrahmen ist keine ferne Zukunft mehr

Rechtlich ist KI längst kein Zukunftsthema mehr. Die KI-Verordnung der EU ist seit August 2024 in Kraft und einzelne Pflichten gelten bereits. Seit Februar 2025 müssen Anbieter und Betreiber ausreichende KI-Kompetenz in ihrer Organisation sicherstellen, seit August 2025 gelten Pflichten für General-Purpose-KI-Modelle. Die umfassenden Anforderungen für Hochrisiko-KI-Systeme, die ursprünglich ab August 2026 greifen sollten, wurden zwar durch den sogenannten Digital Omnibus, in Kraft seit dem 27. Juli 2026, auf Dezember 2027 beziehungsweise August 2028 verschoben. Die Kennzeichnungspflicht für KI-generierte Inhalte bleibt davon aber unberührt und gilt weiterhin ab August 2026.

Der AI Act schafft dabei keine völlig neue Verantwortung der Aufsicht. Er macht sichtbar, welche organisatorischen Pflichten Unternehmen und Einrichtungen künftig nachweisen müssen. Gerade deshalb müssen Aufsichtsgremien verstehen, wie diese Pflichten intern umgesetzt werden. Für die Aufsicht heißt das zweierlei. Die Verschiebung ist zunächst kein Grund zur Entspannung, sondern eher ein Warnsignal, dass sich der Rechtsrahmen weiter bewegt und Gremien ihn laufend nachverfolgen müssen, statt sich auf einen Stichtag zu verlassen. Und wer die KI-Kompetenz-Pflicht aus Artikel 4 noch nicht dokumentiert hat, befindet sich schon jetzt nicht in der Zukunft, sondern in der Gegenwart im Verzug.

Die Haftungsfrage, die viele Gremien verdrängen

Das eigentlich Unbequeme kommt aber erst danach und es hat zwei Seiten. Die eine betrifft die Organisation selbst. Verstöße gegen den AI Act können mit Bußgeldern von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet werden, das ist die Haftung, die im Ernstfall die beaufsichtigte Organisation trifft. Die andere betrifft das Gremienmitglied persönlich. Sorgfaltspflichten von Vorstand und Aufsichtsorganen enden nicht an der Bürotür der IT-Abteilung. Die aus dem Aktienrecht bekannten Grundsätze zur Sorgfaltspflicht von Vorstand und Aufsichtsrat (§ 93 und § 116 AktG) sind zwar nicht eins zu eins auf jeden Beirat oder Verwaltungsrat übertragbar, die dahinterliegende Logik aber schon. Wer eine Überwachungsfunktion innehat, muss sich mit den wesentlichen Risiken der beaufsichtigten Organisation befassen. Ein KI-gestütztes System, das etwa Kreditentscheidungen, Bewerbungsauswahlen oder interne Risikoeinstufungen vorbereitet, gehört inzwischen dazu.

Dabei lohnt eine kurze Einordnung, denn „Aufsichtsgremium" ist kein einheitlicher Begriff. Der Aufsichtsrat einer AG, der Verwaltungsrat einer Stiftung, ein Beirat ohne formelle Kontrollbefugnisse, kirchliche Aufsichtsgremien und kommunale Ausschüsse unterliegen jeweils eigenen rechtlichen Grundlagen. Umfang und Intensität der Verantwortung unterscheiden sich je nach Rechtsform erheblich. Die grundsätzliche Pflicht, sich mit wesentlichen Risiken zu befassen, besteht jedoch unabhängig von der konkreten Organisationsstruktur.

Wer als Gremienmitglied nie gefragt hat, auf welcher Datenbasis ein solches System läuft und wer im Ernstfall die Verantwortung trägt, hat im Zweifel eine Frage nicht gestellt, die zu stellen seine Aufgabe gewesen wäre. Das ist keine theoretische Zuspitzung. Es ist dieselbe Logik, die schon immer galt, sobald ein Gremium ein Risiko schlicht übersehen hat, nur dass „ich kenne mich mit KI nicht aus" bislang oft als Entschuldigung durchging. Vieles spricht dafür, dass Gerichte und Aufsichtsbehörden künftig geringere Anforderungen an die Entschuldigung mangelnder KI-Kenntnisse stellen werden, unabhängig davon, wie schnell die Politik den Zeitplan noch verschiebt.

Ein Beispiel aus der Praxis, wie es beginnt

Ein typischer Fall, wie ich ihn in unterschiedlicher Form immer wieder sehe. Eine Organisation führt ein KI-gestütztes System zur Vorauswahl von Bewerbungen oder zur Priorisierung von Förderanträgen ein. Die Entscheidung fällt operativ, schnell, mit gutem Grund, denn die Zahl der Anfragen ist gestiegen und die Kapazitäten sind es nicht. Im Aufsichtsgremium taucht das Thema, wenn überhaupt, als kurze Information auf. „Wir nutzen jetzt ein Tool, das uns unterstützt."

Meist fällt das erst auf, nachdem sich jemand beschwert hat, weil er unsystematisch aussortiert wurde. Dann stellt sich heraus, dass niemand im Gremium je gefragt hat, nach welchen Kriterien das System eigentlich vorsortiert, ob diese Kriterien überprüft wurden und wer im Zweifel korrigierend eingreifen kann. Nicht, weil das Gremium unfähig gewesen wäre, sondern weil niemand die Zuständigkeit dafür beansprucht hat. Genau an diesem Punkt entscheidet sich, ob Aufsicht funktioniert oder nur formal existiert.

Drei Fragen, die ein Gremium sich stellen sollte, keine Buzzwords

Statt allgemeiner Kompetenzkataloge halte ich drei konkrete Fragen für wichtiger, die sich jedes Gremium bei jedem KI-gestützten Verfahren stellen sollte.

Auf welcher Grundlage entscheidet das System und wurde das unabhängig geprüft? Nicht die Technik im Detail, sondern ob überhaupt eine Prüfung stattgefunden hat und durch wen.
Wer bemerkt es, sobald das System systematisch falschliegt? Ein System, das leise falschliegt, ist gefährlicher als eines, das sichtbar ausfällt. Die Aufsicht muss wissen, ob es einen Mechanismus gibt, der Fehler überhaupt auffängt.
Wo ist die menschliche Verantwortung konkret verankert und ist das dokumentiert? Nicht als Lippenbekenntnis, sondern als benennbare Person oder Stelle, die im Streitfall tatsächlich einstehen muss.

Diese drei Fragen ersetzen keine Fachkenntnis. Aber sie trennen ein Gremium, das tatsächlich beaufsichtigt, von einem, das nur zuhört.

Aufsicht heißt Rahmen setzen, nicht mitregieren

Ein Missverständnis begegnet mir dabei oft. Viele glauben, gute KI-Aufsicht bedeute, möglichst genau in die operative Umsetzung hineinzuregieren. Das Gegenteil ist der Fall. Die Aufgabe des Gremiums ist es, den Rahmen zu setzen, innerhalb dessen KI verantwortlich eingeführt werden kann und regelmäßig zu prüfen, ob dieser Rahmen noch trägt. Das ist dieselbe Rolle, die gute Aufsicht immer schon hatte, nicht kontrollieren um der Kontrolle willen, sondern unterstützen, hinterfragen und strategisch mitdenken. KI verändert nicht, was Aufsicht ist. Sie verändert, worüber Aufsicht nachdenken muss und wie schnell sie das tun muss.

Warum mich dieses Thema von zwei Seiten beschäftigt

Ich blicke auf diese Frage aus zwei Richtungen zugleich und das ist mehr als eine biografische Randnotiz. Beruflich begleite ich als Jurist Gremienprozesse und Entscheidungsstrukturen, in kirchlichen wie in unternehmerischen Zusammenhängen und erlebe dort Organisationen mit sehr unterschiedlichem Reifegrad im Umgang mit KI-gestützten Entscheidungen. Ehrenamtlich sitze ich selbst im Beirat einer Stiftung, wo Überwachungsarbeit sich in der Praxis fast nie über technisches Detailwissen entscheidet, sondern darüber, ob jemand die unbequeme Frage überhaupt stellt.

Beide Erfahrungen zusammen ergeben für mich denselben Befund. KI verlangt von Aufsichtsgremien nicht in erster Linie mehr technisches Wissen, sondern mehr Bereitschaft, an der richtigen Stelle nachzufragen, auch wenn das unbequem ist und länger dauert als ein zustimmendes Nicken.

Was bleibt

Der Rechtsrahmen wird sich in den kommenden Jahren weiter verschieben, das zeigt allein der Blick auf die letzten zwölf Monate. Die eigentliche Aufgabe der Aufsicht bleibt davon aber unberührt. Sie besteht darin, die richtigen Fragen zu stellen, bevor ein Regulator oder ein Gericht sie stellt. Gremien, die diese Haltung jetzt einüben, sind nicht deshalb im Vorteil, weil sie Trends vorausahnen, sondern weil sie eine Aufgabe ernst nehmen, die es schon vor der KI gab und die durch sie nur dringlicher geworden ist.

Die beste Vorbereitung auf KI besteht deshalb nicht darin, jede technische Entwicklung zu kennen. Sie besteht darin, die richtigen Fragen früh genug zu stellen. Genau dafür sind Aufsichtsgremien da.