Künstliche Intelligenz verändert Organisationen nicht, weil sie neue Software mitbringt, sondern weil sie alte Fragen neu stellt: Wer entscheidet? Wem gehört Verantwortung? Und was bleibt menschliche Aufgabe, wenn Maschinen einen Teil der Arbeit übernehmen? Kirchliche Einrichtungen, Unternehmen und staatliche Institutionen beantworten diese Fragen aus unterschiedlichen Organisationslogiken heraus. Auf den ersten Blick wirkt die Rollenverteilung eindeutig. Unternehmen gelten als schnell und risikofreudig, Kirche und Staat als langsamer und stärker durch Gremien geprägt. Zwei reale Fälle zeigen jedoch, dass dieses Bild zu einfach ist und dass es weniger auf die Geschwindigkeit einer Organisation ankommt als auf die Qualität ihrer Entscheidungsprozesse.

Drei Organisationen, drei Aufträge
Unternehmen, kirchliche Einrichtungen und staatliche Institutionen begegnen KI nicht aus derselben Ausgangslage heraus. Sie verfolgen unterschiedliche Zwecke und tragen deshalb unterschiedliche Formen von Verantwortung.

Unternehmen handeln im Rahmen einer wirtschaftlichen Zielsetzung. Sie müssen Innovation ermöglichen, wettbewerbsfähig bleiben und wirtschaftlichen Erfolg sichern. Risiken gehören zu unternehmerischem Handeln dazu, müssen aber mit der Verantwortung gegenüber Kunden, Beschäftigten und der Gesellschaft in Einklang gebracht werden.

Kirchliche Einrichtungen folgen einer anderen Logik. Ihr Auftrag erschöpft sich nicht in Effizienz und Organisationserfolg, sondern umfasst die Begleitung von Menschen, Seelsorge und den Schutz der ihnen anvertrauten Personen. Hinzu treten weitere Aspekte wie die Verantwortung für die Bewahrung der Schöpfung. Der Einsatz von KI muss sich deshalb daran messen lassen, ob er diesen Auftrag unterstützt, ohne den personalen Charakter kirchlichen Handelns zu verdrängen. Gerade die presbyterial‑synodale Ordnung zielt darauf ab, Verantwortung breit zu verankern und unterschiedliche Perspektiven in Entscheidungsprozesse einzubeziehen.

Der Staat nimmt wiederum eine besondere Doppelrolle ein. Er gestaltet die Rahmenbedingungen für den Einsatz von KI, reguliert und kontrolliert deren Nutzung und ist zugleich selbst Anwender. Gleichzeitig muss er als Dienstleister für Bürgerinnen und Bürger funktionieren, wirtschaftliche Entwicklung ermöglichen und den Schutz von Grundrechten sicherstellen.

Diese unterschiedlichen Aufträge prägen auch den Umgang mit KI. Die zentrale Frage lautet deshalb nicht nur, welche Technologie eingesetzt werden kann, sondern welchem Zweck sie dienen soll und welche Verantwortung eine Organisation mit ihrem Einsatz übernimmt.

Vorab eine begriffliche Unterscheidung, die im öffentlichen Diskurs oft verschwimmt, „KI” meint zwei sehr unterschiedliche Dinge. Zum einen die alltägliche, meist folgenarme Nutzung generativer Werkzeuge durch einzelne Mitarbeitende, das Feld der sogenannten Schatten-KI. Zum anderen automatisierte Entscheidungssysteme, die über Menschen urteilen, bei Kreditvergabe, Bewerbungsauswahl oder staatlichen Leistungen. Beide Formen brauchen Governance, aber mit völlig unterschiedlicher Dringlichkeit. Schatten-KI ist vor allem eine Frage von Compliance und Organisation, automatisierte Entscheidungen über Menschen berühren dagegen Gleichbehandlung, Transparenz und Grundrechtsschutz. Wo im Folgenden nicht unterschieden wird, ist die zweite, risikoreichere Kategorie gemeint.

Governance: Gremien als Frühwarnsystem – mit einem Vorbehalt
In kirchlichen Organisationen ist KI-Governance mehr als ein Freigabeprozess. Sie berührt den Auftrag der Institution selbst. Wer darf welche Anwendung nutzen, welche Fälle brauchen eine Prüfung, und wie stellt man sicher, dass Effizienz nicht zum alleinigen Maßstab wird? Unternehmen stehen vor einer pragmatischeren, aber nicht weniger anspruchsvollen Version derselben Frage, Geschäftsführungen müssen Verantwortlichkeiten klären, Risiken bewerten und Freigabewege definieren, sonst entsteht Schatten-KI, die zur handfesten Compliance-Frage wird. Der Staat trägt eine doppelte Last, er muss KI regulieren und zugleich selbst als Anwender verantwortungsvoll handeln.

Kirchliche Organisationen und Verwaltungen kennen deutlich mehr Gremien und Mitspracheinstanzen bei der Einführung neuer Technologien als Unternehmen. Naheliegend ist die These, dass diese Gremien als Frühwarnsystem wirken, Sie zwingen dazu, Governance-Fragen zu klären, bevor eine Anwendung produktiv geht.

Ein Fall stellt diese These jedoch auf eine harte Probe und verdient es, offen benannt zu werden statt ausgeblendet. Auch wenn es keine KI war, ist der Fall sehr gut übertragbar, da es sich um ein algorithmisches Risikobewertungssystem arbeitet, welches mit Scoring und automatisierter Risikobewertung handelt (was praktisch heute durch KI geschieht). Die niederländische Kindergeldaffäre (Toeslagenaffaire). Die niederländische Steuerbehörde setzte ab 2013 ein Risikobewertungssystem ein, das doppelte Staatsangehörigkeit als Betrugsindikator wertete. Das System diskriminierte über Jahre hinweg systematisch Familien mit Migrationshintergrund, bevor der Skandal 2019/2020 öffentlich wurde. Ein parlamentarischer Untersuchungsbericht mit dem Titel “Ongekend Onrecht” (Unerhörtes Unrecht) wurde der Vorsitzenden des Repräsentantenhauses am 17. Dezember 2020 vorgelegt¹; einen Monat später, am 15. Januar 2021, trat das gesamte dritte Kabinett Rutte zurück².

Genau in jenem Bereich, in dem laut These Gremien am stärksten ausgeprägt sein sollten, also in der staatliche Verwaltung, parlamentarische Kontrolle, Datenschutzaufsicht, hat die Kontrolle über Jahre versagt. Die Frühwarnsystem-These übersteht diesen Test nur in abgeschwächter Form. Gremien fangen vor allem Fehler ab, die als Fehler erkennbar sind. Unklare Zuständigkeiten, fehlende Dokumentation, offensichtliche Regelverstöße. Sie versagen dort, wo eine diskriminierende Praxis politisch gewollt oder als “wirksame Betrugsbekämpfung” gerahmt war und die Kontrollinstanzen selbst Teil derselben Problemwahrnehmung waren. Governance-Strukturen sind eben nie ein Selbstläufer. Sie wirken nur, wenn mindestens eine Instanz im System einen Anreiz hat, unbequeme Fragen zu stellen. Gremien reduzieren daher zwar das Risiko blinder Flecken, sie beseitigen es nicht.

Datengrundlage: Wenn die Kennzahl selbst zum Diskriminierungsgrund wird
Bei aller Aufmerksamkeit für Regeln, Zuständigkeiten und Kultur wird ein Punkt oft unterschätzt, die Datenbasis. Der Toeslagenaffaire-Fall zeigt exemplarisch, warum dies keine technische Fußnote ist. Die Steuerbehörde nutzte Staatsangehörigkeit als Merkmal in einem Risikomodell. Eine Kennzahl, die selbst zum Diskriminierungsgrund wurde, weil niemand systematisch prüfte, ob die verwendeten Variablen mit geschützten Merkmalen korrelieren.

Ein strukturell ähnliches, wenn auch folgenärmeres Beispiel liefert der Fall eines internen Recruiting-Systems bei Amazon: Zwischen 2014 und 2017 lernte ein Bewerbungs-Algorithmus (das Machine Learning in jener Form dürfte dem entsprechen, was heute meist als KI ausgelegt wird) aus zehn Jahren überwiegend männlicher Einstellungsdaten, Bewerbungen mit dem Wort „Frauen” oder von reinen Frauenhochschulen systematisch abzuwerten. Der entscheidende Unterschied zum niederländischen Fall, Amazon entdeckte das Problem intern, bevor das Tool produktiv im Bewerbungsprozess eingesetzt wurde, und stellte es 2017/2018 ein³.

In beiden Fällen lag das Kernproblem weniger im Lernalgorithmus als in den Annahmen und Daten, auf denen das System beruhte. Historische Daten spiegelten historische Ungleichheit, und das Modell schrieb sie fort. Beide Fälle scheiterten dabei an unterschiedlichen Stellen derselben Datenkette. Bei Amazon lag der Fehler in der Vollständigkeit der Trainingsdaten, ein Jahrzehnt überwiegend männlicher Einstellungen bildete die Bandbreite möglicher Bewerbungen gar nicht ab. Bei der niederländischen Steuerbehörde lag er in der fehlenden Korrelationsprüfung zwischen einem einzelnen Merkmal und einer geschützten Kategorie. Ein dritter, in beiden Fällen latent vorhandener Fehlertyp betrifft die Aktualität. Modelle, die auf veralteten Mustern beruhen, schreiben Gegebenheiten fort, die sich längst verändert haben.

Aus dieser Rekonstruktion folgt eine konkrete Konsequenz. Jede Organisation sollte für ihre Datengrundlage mindestens drei Kennzahlen führen, bevor ein System produktiv geht. Eine Vollständigkeitsquote, eine Korrelationsprüfung zwischen genutzten Merkmalen und geschützten Kategorien wie Herkunft, Geschlecht oder Alter, und eine Aktualitätskennzahl. Ob eine solche Prüfung überhaupt institutionell verankert ist, hängt von vielen Faktoren ab. 

Datenschutz und Arbeitsrecht: zwei Seiten derselben Vertrauensfrage
Datenschutz und Arbeitsrecht laufen in allen drei Bereichen auf dieselbe Grundfrage hinaus, auch wenn die Ausgangslage unterschiedlich ist. Für kirchliche Einrichtungen, die häufig mit besonders sensiblen Informationen arbeiten, ist Datenschutz Ausdruck des Schutzes der ihnen anvertrauten Menschen. Für Unternehmen ist er der Rahmen, der sichere Innovation überhaupt erst ermöglicht. Für den Staat ist er die Grenze zwischen digitaler Verwaltung und Grundrechtsschutz. Beim Arbeitsrecht wiederholt sich dasselbe Muster. die kirchlichen Arbeitgeber müssen klären, ob KI Tätigkeitsprofile verändert und welche Beteiligungsrechte greifen. Unternehmen hingegen müssen entscheiden, ob und wie KI Leistung bewerten darf und der Staat setzt den rechtlichen Rahmen, der mit der technologischen Entwicklung Schritt halten muss, ohne Innovation auszubremsen. Der Amazon-Fall zeigt dabei, dass Arbeitsrecht und Datenschutz keine getrennten Themen sind. Ein diskriminierendes Bewerbungssystem ist zugleich ein Datenqualitätsproblem, ein Diskriminierungsproblem nach Gleichbehandlungsrecht und ein Vertrauensproblem gegenüber Beschäftigten, alle drei gleichzeitig.

Ressourcen und Risikobereitschaft: ein Muster mit zwei Lesarten
Eine wiederkehrende Beobachtung aus der Praxis lautet, dass Unternehmen bei der KI-Einführung häufig mit kleineren Budgets auskommen als Verwaltungen und kirchliche Träger und dabei keineswegs schlechtere Ergebnisse erzielen. Diese Beobachtung lässt sich mindestens zweifach erklären. Die eine Lesart, Unternehmen arbeiten effizienter. Die andere, unbequemere Lesart, sie sparen an Stellen, deren Kosten sich erst später zeigen, etwa an der systematischen Datenprüfung oder nehmen ganz bewusst Risiken in Kauf, wenn der Benefit das Risiko als lohnend erscheinen lässt. Der Amazon-Fall spricht eher für die erste Lesart, der niederländische Fall für die zweite. Eine über Jahre etablierte Verwaltungsstruktur mit erheblichen Ressourcen hat trotzdem versagt, weil die Prüfung an der falschen Stelle ansetzte. Welche Lesart im Einzelfall zutrifft, hängt weniger vom Budget selbst ab als davon, wofür das Budget verwendet wird, für Kontrolle an der richtigen Stelle oder für Kontrolle an vielen Stellen.

Unabhängig davon bleibt ein struktureller Unterschied im Selbstverständnis bestehen. Unternehmen können deutlich mehr Risiken eingehen, ein Prototyp darf scheitern. Verwaltungen und kirchliche Einrichtungen handeln im Namen eines Gemeinwohl- oder Fürsorgeauftrags, der Fehler weniger leicht verzeiht. Was vorsichtigere, ressourcenintensivere Vorgehensweisen erklärt, ohne sie automatisch zu rechtfertigen. Denn Vorsicht kann wichtigen Schutz bieten, aber auch dazu führen, dass sinnvolle Anwendungen zu spät entstehen.

Verantwortung und Reputation: gleiches Risiko, unterschiedliche Fälligkeit
Die beiden Fälle zeigen exemplarisch, was mit “unterschiedlicher Fälligkeit” gemeint ist. Amazon zahlte früh und kontrolliert, jenes Projekt wurde intern beendet, der Reputationsschaden blieb überschaubar, weil der Fall erst am 10. Oktober 2018 durch Reuters bekannt wurde³, zu einem Zeitpunkt, an dem das Unternehmen bereits reagiert hatte. Die niederländische Regierung zahlte spät und in einer Dimension, die weit über einen einzelnen Imageschaden hinausging. Zehntausende Familien in finanzieller Not, über tausend Kinder in staatlicher Obhut, der Rücktritt eines gesamten Kabinetts, ein bis heute nicht abgeschlossener Entschädigungsprozess. Entscheidend ist die Dauer, nicht die Schwere der ursprünglichen Absicht. Ein Jahr bei Amazon, rund sechs Jahre bei der niederländischen Steuerbehörde.

Diese unterschiedliche Fälligkeit ist eine Funktion der Frage, wie schnell ein System auf reale Menschen trifft und wie öffentlich die Auswirkungen werden. Ein internes Recruiting-Tool wird von wenigen HR-Verantwortlichen genutzt und lässt sich vergleichsweise leise stoppen. Ein staatliches System, das über Kindergeld entscheidet, trifft sofort und flächendeckend auf Bürgerinnen und Bürger, aber die Aufarbeitung dauert trotzdem Jahre, weil die politische Verantwortung diffuser verteilt ist als in einem Unternehmen mit klarer Entscheidungshierarchie. Am Ende bleibt dennoch ein klarer und gemeinsamer Grundsatz bestehen. Verantwortung liegt bei Menschen und Organisationen, nicht bei Algorithmen. Die Frage, wie lange es dauert, bis diese Verantwortung eingefordert wird, unterscheidet sich strukturell zwischen den drei Bereichen.

Ein weiterer Unterschied liegt weniger in der Organisationsform als in der Art der Bindung. Kirchliche Zugehörigkeit beruht nicht allein auf formaler Mitgliedschaft oder funktionalem Nutzen, sondern in erheblichem Maß auf Vertrauen. Dieses Vertrauen ist nicht selbstverständlich stabil. Es kann durch konkrete Erfahrungen gestärkt, aber auch beschädigt werden und führt im Zweifel zu einer klaren Konsequenz, bis hin zum Austritt. Während staatliche Zugehörigkeit rechtlich gebunden ist und Unternehmen den Verlust einzelner Kundinnen und Kunden in der Regel durch Marktdynamiken ausgleichen können, trifft ein Vertrauensverlust die Kirche unmittelbarer und direkter. Hinzu kommt, dass der Auftrag der Kirche den Einsatz von KI nicht erleichtert, sondern in wesentlichen Punkten anspruchsvoller macht. Kirchliches Handeln ist nicht allein an Effizienz, Funktionalität oder Rechtskonformität orientiert, sondern zusätzlich an einem personalen und seelsorgerlichen Anspruch. Dieser verlangt nicht nur richtige Ergebnisse, sondern auch eine Form des Umgangs, die dem einzelnen Menschen gerecht wird. Technische Systeme, die Prozesse standardisieren oder beschleunigen, stehen damit unter einem besonderen Rechtfertigungsdruck. Sie müssen sich nicht nur daran messen lassen, ob sie funktionieren, sondern auch daran, ob ihr Einsatz Vertrauen erhält oder stärkt und dem Anspruch persönlicher Zuwendung entspricht. Daraus folgt kein generelles Gebot zur Verlangsamung von Innovation. Wohl aber ergibt sich ein höherer Anspruch an Transparenz, Nachvollziehbarkeit und verantwortliche Einführung. Der kirchliche Auftrag wirkt insofern nicht als Hindernis, sondern als zusätzlicher Prüfmaßstab, der den Einsatz von KI anspruchsvoller macht und zugleich inhaltlich schärft.

Grenzen dieser Vergleiche
Der Vergleich zwischen den drei Institutionen ist hoffentlich erhellend, trägt aber natürlich nicht grenzenlos. Was auf dem Spiel steht, ist dennoch nicht dasselbe. Unternehmen riskieren wirtschaftlichen Erfolg, der Staat die Legitimität von Gleichbehandlung und Rechtsstaatlichkeit, Kirche etwas, das sich mit betriebswirtschaftlichen oder verwaltungsrechtlichen Kategorien nur unzureichend fassen lässt, nämlich seelsorgerliches Vertrauen einzelner Menschen. Auch das Tempo-Argument kippt an einer Stelle. Wo der Staat in Echtzeit auf existenzsichernde Anliegen reagieren muss, ist Langsamkeit kein Qualitätsmerkmal, sondern ein eigenes Risiko. Und die Gremien-These aus dem ersten Abschnitt gilt nur mit Einschränkung. Kontrollstrukturen wirken nicht automatisch, sie brauchen mindestens eine Instanz mit echtem Interesse an der unbequemen Frage und dem nötigen (gerne auch aufbereiteten) Fachwissen, um die möglichen Probleme erkennen zu können.

Change Management: Die eigentliche Herausforderung sind die Menschen
In kirchlichen Kontexten ist die Einführung von KI vor allem ein Kulturprozess: Mitarbeitende müssen verstehen, warum eine Organisation KI einsetzt, warum dies den christlichen Auftrag unterstützt (eben um Mitarbeitende zu entlasten und dadurch mehr Zeit für die unmittelbare Arbeit mit Menschen zu schaffen) und natürlich was menschliche Aufgabe bleibt. Für Unternehmen gilt, dass die erfolgreichsten KI-Projekte nicht die technisch ausgereiftesten sein müssen, sondern jene, bei denen Menschen den Wandel aktiv mittragen. Auch staatliche Institutionen stehen vor dieser Aufgabe, Digitalisierung scheitert selten an der Technik, meist an Prozessen und fehlender Akzeptanz.

Damit schließt sich der Kreis zu den Fragen der Governance. Gute KI-Governance besteht nicht nur aus Richtlinien und Kontrollmechanismen. Sie schafft einen Rahmen, in dem Menschen Verantwortung übernehmen können. Technik kann Entscheidungen unterstützen, sie kann nicht die Verantwortung dafür übernehmen, wie eine Organisation mit den ihr anvertrauten Menschen umgeht.

Konsequenzen für die Praxis
Drei Institutionen, drei Traditionen, wobei die hier verhandelten Fälle ausschließlich die eingangs unterschiedene zweite Kategorie betreffen, automatisierte Entscheidungen über Menschen; für die alltägliche Schatten-KI-Nutzung gelten mildere, aber nicht beliebige Maßstäbe. Zwei reale Fälle zeigen, dass weder “schnelle Unternehmen” noch “gremiengesicherte Institutionen” ein Garant für richtige Entscheidungen sind. Entscheidend ist nicht die Organisationsform, sondern die Qualität der Prozesse, mit denen eine Organisation Verantwortung übernimmt.

Daraus lassen sich drei konkrete Konsequenzen ableiten. 

Erstens: Governance-Gremien brauchen nicht nur Existenz, sondern eine Person oder Funktion mit explizitem Mandat, unbequeme Fragen zu stellen, sonst wiederholt sich das Muster der Toeslagenaffaire, bei der formale Kontrolle vorhanden war, aber wirkungslos blieb. 

Zweitens: Datenqualität gehört als eigene, regelmäßig geprüfte Kennzahl in jede KI-Einführung, nicht als einmalige Voraussetzung, sondern als laufender Indikator. 

Drittens: Je später ein fehlerhaftes System entdeckt wird, desto größer die Fallhöhe. Eine kleine, aber früh ansetzende Kontrolle lohnt sich mehr als eine große, aber späte.

Die entscheidende Ressource bei der KI-Einführung ist am Ende nicht die Technologie, sondern das Vertrauen der Menschen, die mit ihr arbeiten sollen und auch die Bereitschaft, den Preis für Fehler lieber früh und klein zu zahlen als spät und groß. KI verändert Organisationen nicht deshalb, weil Maschinen Entscheidungen unterstützen, vorbereiten oder treffen können. Sie verändert Organisationen, weil Menschen entscheiden müssen, welche Verantwortung sie an technische Systeme übertragen können und welche Verantwortung sie niemals abgeben dürfen.