Zukunftslabor · Mensch und Verantwortung
Ich gebe inzwischen erstaunlich viele Aufgaben an AI ab. Wenn auf meiner Website etwas technisch umgesetzt werden muss, programmiere ich die Divi-Elemente nicht mehr selbst. Ich beschreibe, was ich erreichen möchte, welche Anforderungen gelten und wie das Ergebnis funktionieren soll; die technische Umsetzung überlasse ich weitgehend AI.
Ähnlich ist es bei wiederkehrenden Geschäftsprozessen. Gerade habe ich einen Rechnungsablauf für einen Kunden vorbereitet, bei dem über anderthalb Jahre immer wieder ähnliche Rechnungen entstehen. Die vereinbarten Reinigungszyklen, die Zuordnung zu den Wohnungen und die Konditionen sind festgelegt. Statt diese Informationen jeden Monat neu zusammenzutragen, soll der Prozess die Rechnungen in Lexware Office vorbereiten, sodass ich sie zunächst nur noch prüfen und verschicken muss.
Auch bei der Aufnahme neuer Coachees arbeite ich so. AI soll nicht selbst erfinden, wie ein neuer Coachee aufgenommen, wo etwas abgelegt oder welche Information wann verschickt wird. Diesen Prozess gestalte ich selbst. Ich lege fest, welche Informationen gebraucht werden, welche Reihenfolge sinnvoll ist, welche Ausnahmen berücksichtigt werden müssen und an welcher Stelle eine Kontrolle erfolgt. Erst danach delegiere ich die technische Durchführung.
Dabei ist mir ein Widerspruch aufgefallen: Ich kontrolliere immer weniger einzelne Arbeitsschritte und habe trotzdem nicht das Gefühl, weniger Verantwortung zu übernehmen. Bei manchen standardisierten Vorgängen vertraue ich der Automatisierung sogar mehr als meiner eigenen wiederholten Handarbeit, weil sie nicht müde wird, nichts vergisst und Regeln konsequent anwenden kann. Daraus entsteht für mich eine unbequemere und zugleich interessantere Frage als die übliche Debatte darüber, was AI „darf“: Vielleicht liegt Verantwortung künftig weniger darin, möglichst viel selbst zu tun, sondern darin, gute Prozesse zu entwerfen und gute Kontrollarchitekturen zu bauen.
Ich delegiere nicht die Verantwortung für einen Prozess, sondern seine Durchführung.
Birgit Arnold
Ziel & Regeln
Der Mensch gestaltet Zweck, Randbedingungen und Grenzen.
AI führt aus
Das System übernimmt den technisch definierten Ablauf.
Prüfen & entscheiden
Kontrollen machen Fehler sichtbar und lösen Stopp oder Eskalation aus.
Verantwortung bleibt beim Prozessdesign und bei seinen Folgen.
In diesem Beitrag
Erster Perspektivwechsel
Verantwortung heißt nicht Selbstmachen
Wir verbinden Verantwortung häufig mit persönlicher Durchführung. Wer verantwortlich ist, soll hinschauen, kontrollieren und im Zweifel selbst eingreifen können. Im Alltag von Organisationen war Verantwortung aber noch nie identisch mit dem Selbermachen. Eine Geschäftsführerin führt nicht jede Buchung selbst aus, ein Architekt mauert nicht das Gebäude, für dessen Planung er Verantwortung trägt, und eine Ärztin analysiert nicht jede Laborprobe persönlich. Verantwortung besteht schon heute darin, Ziele und Anforderungen festzulegen, Aufgaben sinnvoll zu verteilen, Qualitätsmaßstäbe zu definieren und zu entscheiden, an welchen Stellen Kontrolle notwendig ist.
AI erfindet Delegation deshalb nicht neu. Sie verändert vor allem, wie weit Delegation gehen kann und wie klein ein Team werden kann, das komplexe Aufgaben bewältigt. Für meine eigene Arbeit ergibt sich daraus eine klare Unterscheidung: Beim Rechnungsprozess entscheide ich, welche Leistungen vereinbart wurden, welche Reinigungszyklen gelten und wie der Ablauf aussehen soll. Bei WordPress entscheide ich, welche Funktion eine Seite erfüllen, wie sie aufgebaut sein und welche gestalterischen Vorgaben eingehalten werden sollen. Dass ich anschließend nicht jeden technischen Schritt selbst programmiere, nimmt mir diese Verantwortung nicht ab.
Ziel setzen
Was soll der Prozess erreichen – und was ausdrücklich nicht?
Regeln gestalten
Welche Randbedingungen, Sonderfälle und Qualitätsmaßstäbe gelten?
Kontrolle bauen
Woran wird ein Fehler sichtbar, und wer kann stoppen oder eskalieren?
Damit verschiebt sich allerdings die Kompetenz, die ich brauche. Ich muss nicht mehr jeden einzelnen technischen Arbeitsschritt beherrschen. Ich muss verstehen, was ein Prozess erreichen soll, welche Regeln gelten, welche Sonderfälle auftreten können und woran ich erkenne, dass etwas falsch läuft. Genau diese Verschiebung knüpft an den Zukunftslabor-Beitrag „Wenn AI alles erklären kann – was müssen Menschen dann noch selbst lernen?“ an: Dort ging es darum, dass AI-Kompetenz weniger im einzelnen Prompt als im Aufbau guter Denk-, Lern- und Arbeitsprozesse liegt. In diesem Artikel wird daraus eine Verantwortungsfrage.
Historische Brücke
Das ist nicht das erste Mal: Der Aufzug ohne Aufzugsführer
Ein Blick in die Technikgeschichte zeigt, dass wir Ausführung schon häufiger vollständig an Maschinen abgegeben haben, ohne deshalb anzunehmen, niemand trage mehr Verantwortung. Ein anschauliches Beispiel ist der Aufzug. Frühe Personenaufzüge wurden von Aufzugsführern bedient. Im Laufe des 20. Jahrhunderts übernahmen technische Systeme immer mehr Funktionen. Otis nennt für 1950 die Installation seines Autotronic-Systems im Atlantic Refining Building in Dallas als erstes Gebäude mit seinen Hochgeschwindigkeitsaufzügen ohne Bedienpersonal.
Heute würde kaum jemand fordern, in jedem Aufzug müsse wieder ein Mensch sitzen, um jede Fahrt zu überwachen. Die Verantwortung ist mit dem Verschwinden des Aufzugsführers nicht verschwunden; sie ist an andere Stellen gewandert. Konstruktion, Sicherheitsnormen, Sensorik, Wartung, Prüfung, Notruf und Fehlerbehandlung müssen so gestaltet sein, dass der einzelne Fahrgast nicht bei jeder Fahrt selbst kontrollieren muss, ob die Technik korrekt arbeitet.
Genau das ist für AI interessant. Eine ausgereifte Automatisierung verlangt nicht zwingend permanente menschliche Einzelkontrolle. Sie verlangt eine verlässliche Architektur, in der Fehler möglichst verhindert, Abweichungen erkannt und gefährliche Zustände abgefangen werden. Die historische Parallele hat allerdings eine klare Grenze: Ein Aufzug bewegt sich in einem wesentlich enger definierten technischen Raum als ein generatives AI-System, das mit offenen Informationen, Sprache und unvollständigem Kontext arbeitet. Deshalb lässt sich die Sicherheitslogik übertragen, nicht aber das Maß an Berechenbarkeit.
Der erste Bruch
Die Ironie der Automatisierung
Genau an dieser Stelle wird die Geschichte komplizierter. Je besser ein System den Normalbetrieb übernimmt, desto seltener muss der Mensch eingreifen. Das klingt zunächst ideal. Die Ingenieurpsychologin Lisanne Bainbridge beschrieb jedoch bereits 1983 in ihrem Aufsatz „Ironies of Automation“ ein Problem, das heute für AI erstaunlich aktuell wirkt: Wenn Automatisierung Routinearbeit übernimmt, bleibt dem Menschen häufig ausgerechnet das übrig, was das System nicht lösen kann – der ungewöhnliche, schwierige oder zeitkritische Ausnahmefall. Gleichzeitig hat der Mensch immer weniger Gelegenheit, die normale Tätigkeit selbst auszuüben und Routine aufzubauen.
Normalbetrieb
AI übernimmt immer mehr
Der Automatisierungsgrad steigt. Der Mensch greift seltener ein und übt den normalen Ablauf weniger.
Ausnahmefall
Jetzt muss der Mensch handeln
Der seltene Fall ist schwierig und oft zeitkritisch. Genau dann wird menschliche Kompetenz besonders wichtig.
Formale Anwesenheit ist noch keine echte Eingriffsfähigkeit.
Die Luftfahrt kennt dieses Spannungsfeld seit langem. Moderne Flugzeuge nutzen weitreichende Automatisierung; zugleich betont die US-Luftfahrtbehörde FAA die Bedeutung klarer Standardverfahren, geschulter Monitoring-Aufgaben und der Einbindung dieser Pflichten in das Training. Das Problem ist nicht, dass Automatisierung grundsätzlich schlecht wäre. Es entsteht, wenn der Mensch formell als letzte Instanz vorgesehen ist, praktisch aber weder genügend Übung noch Situationsverständnis besitzt, um im seltenen Ernstfall sinnvoll einzugreifen.
Damit wird aus meiner zunächst einfachen Forderung „Am Ende schaut noch einmal ein Mensch drauf“ eine deutlich schwierigere Frage: Was nützt eine menschliche Schlusskontrolle, wenn der Mensch den Prozess irgendwann kaum noch versteht oder dem System aus Gewohnheit fast immer zustimmt?
Der notwendige Gegencheck
Wenn AI weniger Fehler macht als ich
Trotzdem wäre die falsche Konsequenz, möglichst viel wieder manuell zu erledigen. Gerade bei standardisierten Vorgängen kann ein gut eingerichteter automatisierter Prozess zuverlässiger sein als wiederholte menschliche Handarbeit. Wenn ich über viele Monate ähnliche Rechnungen selbst zusammenstelle, kann ich mich vertippen, eine Position vergessen, einen Reinigungstermin falsch zuordnen oder aus Routine einen alten Betrag übernehmen. Ein automatisierter Prozess wird nicht müde und lässt sich darauf programmieren, dieselben festgelegten Regeln jedes Mal gleich anzuwenden.
Das bedeutet nicht, dass AI fehlerfrei ist. Fehler verschieben sich. Statt eines einzelnen Tippfehlers kann ein falsch definierter Prozess denselben Fehler hundertmal reproduzieren. Fehlende Informationen, falsche Ausgangsdaten oder eine unpassende Regel können durch Automatisierung skaliert werden. Genau deshalb darf die Frage nicht lauten, ob Mensch oder AI grundsätzlich vertrauenswürdiger ist. Entscheidend ist, wer welchen Teil einer Aufgabe zuverlässiger erledigen kann und wie das Gesamtsystem bemerkt, dass etwas schiefläuft.
Manueller Einzelfehler
Ein Tippfehler oder eine vergessene Position betrifft zunächst einen Vorgang. Er bleibt häufig lokal, ist aber bei müder Routine leicht möglich.
Automatisierter Systemfehler
Eine falsche Regel kann denselben Fehler konsequent wiederholen. Die Ausführung ist stabil – nur leider in die falsche Richtung.
Hier wird auch ein Gedanke aus Artikel 1 wieder relevant. Im Beitrag „Wenn AI uns Arbeit abnimmt – wem gehört dann der Gewinn?“ ging es um Produktivität und darum, was mit gewonnener Arbeitszeit geschieht. Automatisierung schafft nur dann echten Fortschritt, wenn wir nicht jede automatisierte Tätigkeit anschließend vollständig noch einmal von Hand durchführen müssen. Sonst entsteht kaum zusätzlicher Handlungsspielraum.
Kontrolle darf lernen
Vom Test zur kontrollierten Automatisierung
Für neue Prozesse würde ich deshalb mit einer intensiven Testphase beginnen. Am Anfang sollte jeder Fall geprüft werden, weil erst dann sichtbar wird, ob Regeln vollständig sind, Sonderfälle fehlen oder das System eine Vorgabe anders interpretiert als gedacht. Fehler und Grenzfälle werden nicht nur korrigiert, sondern genutzt, um den Prozess zu verbessern.
Entwerfen
Ziel, Regeln und Grenzen festlegen.
Testen
Normalfälle und Grenzfälle durchspielen.
Voll kontrollieren
Am Anfang jeden Fall nachvollziehen.
Stabilisieren
Fehlerursachen in den Prozess zurückführen.
Überwachen
Stichproben, Warnungen und Indikatoren nutzen.
Verdichten
Bei Abweichung wieder intensiver prüfen.
Wenn sich ein Ablauf anschließend über genügend Fälle bewährt, kann die Kontrolle zurückgefahren werden. Bei einem standardisierten, gut überprüfbaren Vorgang muss ein Mensch nicht zwangsläufig für alle Zeiten hundert Prozent der Ergebnisse erneut vollständig nachvollziehen. Sinnvoller erscheinen Stichproben, Plausibilitätsprüfungen, automatische Warnungen und klare Eskalationsregeln. Wenn Abweichungen auftreten, steigt die Kontrolldichte wieder.
Damit verändert sich mein Verständnis von menschlicher Kontrolle. Gute Kontrolle bedeutet nicht, jeden automatisierten Vorgang ein zweites Mal selbst zu erledigen. Sie bedeutet, den Prozess so zu gestalten, dass relevante Fehler mit hoher Wahrscheinlichkeit entdeckt werden und dass das System weiß, wann es nicht einfach weitermachen darf.
Folgen für andere
Wenn Entscheidungen andere Menschen betreffen
Schwieriger wird es, sobald eine Entscheidung erhebliche Folgen für andere Menschen hat. Darf AI Bewerbungen vorsortieren, Leistungen bewerten, Kreditrisiken einschätzen oder Schülerleistungen analysieren? Für mich ist die Tatsache, dass AI beteiligt ist, noch kein ausreichender Grund, solche Verfahren abzulehnen. Auch Menschen arbeiten mit Kriterien, Bewertungsrastern, Tabellen, Scores und Software, und menschliche Entscheidungen sind nicht automatisch konsistenter oder vorurteilsfreier.
Entscheidend wird vielmehr, wer die Kriterien festlegt, welche Informationen verwendet werden, wie das Ergebnis überprüft werden kann und wer die Konsequenz verantwortet. Wenn AI Vorarbeit leistet, Informationen strukturiert oder einen Vorschlag entwickelt und anschließend ein Mensch die Empfehlung tatsächlich prüft, versteht und eine eigene Entscheidung trifft, ist das etwas anderes als ein Vorgang, bei dem das System eine Bewertung erzeugt und daraus ohne echte menschliche Prüfung unmittelbar eine Folge entsteht.
AI-gestützt
AI bereitet Informationen und eine Empfehlung vor. Ein Mensch versteht die Begründung, prüft Alternativen und entscheidet.
AI-getroffen
Das System bewertet einen Fall. Das Ergebnis löst unmittelbar eine Folge aus, ohne dass eine echte, kompetente Prüfung dazwischenliegt.
Ich würde deshalb auch nicht verlangen, dass jede AI-gestützte Vorarbeit besonders gekennzeichnet wird. Wir weisen heute ebenfalls nicht bei jeder Entscheidung darauf hin, dass Excel, Statistiksoftware oder andere Automatisierung beteiligt waren. Anders wird die Transparenzfrage, wenn ein folgenreicher Vorgang vollständig oder nahezu vollständig automatisiert ist und der betroffene Mensch faktisch einer maschinell erzeugten Entscheidung gegenübersteht.
Rechtlicher Gegencheck · keine Rechtsberatung
Was das Recht bereits unterscheidet
Die europäische Datenschutz-Grundverordnung enthält dafür schon seit Jahren eine bemerkenswert aktuelle Unterscheidung. Artikel 22 DSGVO schützt Menschen grundsätzlich davor, einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die rechtliche oder ähnlich erhebliche Wirkung entfaltet. Für bestimmte zulässige Ausnahmen sieht die DSGVO Schutzmaßnahmen vor, darunter das Recht auf menschliches Eingreifen, die Darlegung des eigenen Standpunkts und die Anfechtung der Entscheidung.
Der EU AI Act ergänzt diese Entwicklung mit einer risikobasierten Logik. Artikel 14 verlangt für Hochrisiko-AI-Systeme eine wirksame menschliche Aufsicht, die zum Risiko, zur Autonomie des Systems und zum Anwendungskontext passen muss.
Rechtsstand vom 16. September 2026
Nach der aktuellen Übersicht der Europäischen Kommission gelten die einschlägigen Hochrisiko-Regeln für Systeme nach Annex III ab dem 2. Dezember 2027. Für bestimmte Hochrisiko-Systeme, die in regulierte physische Produkte integriert sind, ist der 2. August 2028 vorgesehen. Diese zeitabhängigen Termine wurden unmittelbar vor der Veröffentlichung erneut anhand der aktuellen Übersicht der Europäischen Kommission geprüft.
Interessant finde ich daran weniger die einzelne juristische Vorschrift als die Denkbewegung dahinter: Das Recht verlangt nicht pauschal, dass ein Mensch jede Berechnung wiederholt. Es fragt nach Risiko, echter Aufsicht, Eingriffsmöglichkeit und Schutz der betroffenen Person. Daraus folgt ausdrücklich nicht, dass jede AI-gestützte Vorarbeit offengelegt werden muss.
Human in the loop reicht nicht
Wenn menschliche Kontrolle nur noch Scheinkontrolle ist
Damit stoßen wir auf den eigentlichen Gegencheck meiner bisherigen Position. Ein Mensch im Prozess bedeutet noch nicht, dass wir menschliche Kontrolle haben. Wenn jemand am Ende nur auf „Freigeben“ klickt, weil die AI-Empfehlung professionell klingt, weil der Zeitdruck hoch ist oder weil er die zugrunde liegende Analyse selbst nicht mehr beurteilen kann, ist „Human in the loop“ möglicherweise nur eine formale Beruhigungsformel.
Scheinkontrolle
Die AI liefert ein Ergebnis, der Mensch bestätigt routinemäßig. Begründung, Unsicherheit und Gegenbelege bleiben unsichtbar.
Echte Kontrolle
Begründung, Datenbasis, Unsicherheit und Alternativen sind prüfbar. Der Mensch kann widersprechen, stoppen und eskalieren.
Echte Schlusskontrolle braucht deshalb mehr. Der Mensch muss ausreichend verstehen, was geprüft werden soll; er braucht Zeit und Informationen, um Gegenfragen zu stellen; er muss das Ergebnis tatsächlich ablehnen oder den Prozess stoppen können; und er darf nicht so in die Automatisierung eingebunden sein, dass Zustimmung zur Routine und Widerspruch zur Ausnahme wird. Sonst verschiebt sich Verantwortung zwar formal auf einen Menschen, praktisch besitzt dieser aber kaum noch Einfluss.
Damit ändert sich die zentrale Frage des Artikels erneut. Es reicht nicht mehr zu fragen, ob am Ende ein Mensch entscheidet. Wir müssen fragen, wie ein System aufgebaut sein muss, damit dieser Mensch überhaupt eine gute Entscheidung treffen kann.
Zentraler Perspektivwechsel
Wer kontrolliert eigentlich den Kontrolleur?
An diesem Punkt wird die Sache noch unbequemer. Denn auch der menschliche Kontrolleur ist eine Fehlerquelle. Er kann müde sein, etwas übersehen, eine Lieblingshypothese haben oder sich von der überzeugenden Darstellung der ersten AI zu schnell mitziehen lassen. Wenn wir AI gerade deshalb einsetzen, weil sie manche Muster zuverlässiger erkennt als Menschen, wäre es inkonsequent, die menschliche Schlusskontrolle anschließend für unfehlbar zu erklären.
Bei wichtigen Entscheidungen brauchen wir deshalb möglicherweise nicht nur „AI plus Mensch“, sondern eine Kontrollarchitektur aus mehreren, bewusst unterschiedlich eingesetzten Instanzen.
AI 1 · Analyse
Vorschlag entwickeln
Informationen strukturieren, Muster erkennen, Empfehlung und Begründung formulieren.
AI 2 · Gegenprüfung
Gezielt widersprechen
Fehlende Annahmen, Gegenbelege, alternative Erklärungen und Risiken suchen.
Mensch · Verantwortung
Kontext und Folgen abwägen
Beide Perspektiven beurteilen, Werte und konkrete Situation berücksichtigen und bei folgenreichen Fällen entscheiden oder stoppen.
Redundanz ist nicht dasselbe wie Wiederholung. Eine zweite AI ist nur dann eine sinnvolle Kontrollinstanz, wenn sie tatsächlich eine andere Prüfrolle einnimmt.
Bei besonders wichtigen Vorgängen könnte die Reihenfolge auch anders aussehen: Eine AI erstellt die Analyse, eine unabhängige zweite Instanz prüft sie, anschließend entscheidet ein Mensch. Oder der Mensch formuliert zunächst seine Einschätzung und lässt diese danach von einer zweiten AI gezielt angreifen, bevor er endgültig entscheidet. Entscheidend ist nicht die Reihenfolge, sondern die Redundanz der Perspektiven.
Allerdings ist auch das keine einfache Sicherheitsgarantie. Zwei AI-Systeme sind nicht automatisch unabhängig. Wenn sie auf ähnlichen Modellen, denselben Datenquellen oder vergleichbaren Trainingsmustern beruhen, können sie denselben Fehler reproduzieren und sich gegenseitig bestätigen. Eine gute Kontrollarchitektur braucht deshalb echte Unterschiedlichkeit: andere Datenquellen, andere Modelle, andere Prüfaufträge oder zumindest bewusst gegensätzliche Rollen.
Aus „Wer hat das letzte Wort?“ wird damit eine anspruchsvollere Zukunftsfrage: Wie bauen wir Systeme, in denen Menschen und mehrere technische Instanzen sich gegenseitig so prüfen, dass ihre jeweiligen Schwächen nicht einfach addiert werden?
Organisierter Gegenwind
Widerspruch als Teil der Kontrollarchitektur
Dieser Gedanke verbindet Artikel 4 sehr direkt mit Artikel 2. Dort habe ich beschrieben, dass eine wichtige AI-Kompetenz darin besteht, Widerspruch zu organisieren. Hier bekommt dieser Gedanke eine organisatorische Bedeutung. Ein gutes AI-System sollte nicht nur eine Anweisung möglichst gehorsam ausführen. Es sollte auch erkennen können, wann Informationen fehlen, Regeln kollidieren, ein Fall ungewöhnlich ist oder die Sicherheit einer Schlussfolgerung nicht ausreicht.
Welche Annahmen fehlen? Welche Daten sprechen dagegen? Welche Risiken wurden unterschätzt? Welche alternative Erklärung ist plausibel?
Deshalb würde ich bei wichtigen Prozessen nicht nur definieren, was AI tun soll, sondern auch, wann sie nachfragen, warnen oder stoppen muss. Ein System könnte beispielsweise verpflichtet sein, fehlende Informationen ausdrücklich zu benennen, die stärkste Gegenposition zu einer Empfehlung zu formulieren oder bei definierten Unsicherheiten keine automatische Folge auszulösen. So wird Widerspruch nicht zur lästigen Unterbrechung, sondern zu einem Bestandteil der Prozessqualität.
Das NIST AI Risk Management Framework verfolgt einen ähnlichen Grundgedanken, ohne eine einzige Kontrollarchitektur vorzuschreiben. Es behandelt AI-Risikomanagement als Aufgabe über den gesamten Lebenszyklus eines Systems und betont, dass unterschiedliche Akteure und Perspektiven notwendig sind, um Risiken für Individuen, Organisationen und Gesellschaft zu erkennen und zu steuern.
Die schwierigste Prüfung
Was geschieht, wenn AI besser entscheidet als wir?
Die schwierigste Prüfung dieser Position beginnt dort, wo AI nicht nur schneller, sondern in einem bestimmten Bereich nachweislich besser entscheiden könnte als Menschen. Im medizinischen Bereich kann ich mir das gut vorstellen. Ein Arzt kann sehr erfahren sein und trotzdem nur eine begrenzte Menge an Studien, seltenen Krankheitsbildern, Wechselwirkungen und statistischen Mustern gleichzeitig berücksichtigen. Ein geeignetes AI-System könnte Zusammenhänge einbeziehen, die ein einzelner Mensch leichter übersieht.
Dann wäre es merkwürdig, die menschliche Letztentscheidung damit zu begründen, dass der Mensch grundsätzlich klüger oder zuverlässiger sei. Wenn das System in einer klar umrissenen Aufgabe bessere Ergebnisse liefert, könnte es sogar unverantwortlich sein, seine Empfehlung aus Prinzip zu ignorieren. Die Rolle des Arztes würde dadurch jedoch nicht bedeutungslos. Sie würde sich verändern. Er müsste fragen können, warum bestimmte Befunde stark gewichtet wurden, welche Alternativen bestehen, welche Information fehlt und ob die Empfehlung zum konkreten Menschen passt. Er müsste nicht beweisen, dass er der AI überlegen ist; er müsste prüfen können, ob die Empfehlung im Einzelfall trägt.
Auch hier könnte die Kontrollarchitektur stärker sein als ein einzelnes „letztes Wort“. Eine zweite AI könnte bewusst nach einer übersehenen Diagnose suchen, während der Arzt Kontext, Werte, Präferenzen und die konkrete Lebenssituation des Patienten einbringt. Verantwortung würde dann nicht darin bestehen, AI zu überstimmen, sondern unterschiedliche Erkenntnisquellen sinnvoll zusammenzuführen und zu wissen, wann Unsicherheit eine weitere Prüfung verlangt.
Philosophische Tiefenschärfe
Hans Jonas: Mehr technische Macht bedeutet mehr Verantwortung
An dieser Stelle hilft mir der Philosoph Hans Jonas weiter. In „Das Prinzip Verantwortung“ von 1979 reagierte er auf eine Welt, in der Technik menschliches Handeln so wirksam gemacht hatte, dass seine Folgen räumlich und zeitlich weit über die einzelne Handlung hinausreichen konnten. Für Jonas musste Ethik deshalb stärker zukunftsgerichtet werden: Wer mächtige Technik einsetzt, muss nicht nur auf die unmittelbare Absicht schauen, sondern auch auf die möglichen Folgen und auf das, was durch die neue Reichweite des Handelns gefährdet werden könnte.
Auf AI übertragen liegt darin ein wichtiger Gedanke. Wenn ich eine Rechnung manuell falsch schreibe, entsteht ein einzelner Fehler. Wenn ich einen fehlerhaften automatisierten Prozess entwerfe, kann derselbe Fehler hundert- oder tausendfach reproduziert werden. Wenn ein AI-System in einer Organisation Entscheidungen vorbereitet, kann eine problematische Regel sehr viel schneller und konsistenter wirken, als es ein einzelner Mensch je könnte. Mit Automatisierung wächst deshalb nicht nur die Produktivität, sondern auch die Reichweite guten oder schlechten Prozessdesigns.
Je leistungsfähiger ein technisches System wird, desto wichtiger wird die Verantwortung für seine Folgen, Grenzen und Eingriffsmöglichkeiten.
Sinngemäße Übertragung von Hans Jonas auf AI – kein wörtliches Zitat
Jonas liefert damit kein Argument gegen AI und auch keine fertige Regel dafür, wann ein Mensch eingreifen muss. Sein Gedanke verschärft vielmehr die Verantwortung für die Architektur: Je leistungsfähiger ein technisches System wird, desto wichtiger wird die Frage, welche Folgen wir voraussehen können, welche Sicherheitsgeländer wir einbauen und wer tatsächlich die Möglichkeit besitzt, den Prozess zu verändern oder zu stoppen. Zur philosophischen Einordnung verweise ich auf die Stanford Encyclopedia of Philosophy.
Die unsichtbare Verantwortungsebene
Mit jeder Delegation wächst das Vertrauen in die Infrastruktur
Je weiter ich Aufgaben an AI delegiere, desto deutlicher wird außerdem eine Verantwortungsebene, die im Alltag leicht unsichtbar bleibt. Damit AI auf WordPress zugreifen, Rechnungen vorbereiten oder Daten zwischen Anwendungen übertragen kann, braucht sie Berechtigungen. Irgendwo existieren API-Schlüssel, Zugangsdaten, Kundendaten, Dokumente und geschäftliche Informationen. Ich muss darauf vertrauen können, dass diese Rechte sauber begrenzt, Geheimnisse sicher verwaltet und Zugriffe nachvollziehbar protokolliert werden.
Daten
Welche Informationen darf das System sehen – und welche nicht?
Berechtigungen
Welche Aktionen darf es ausführen, und wo braucht es Freigaben?
Rückholbarkeit
Kann eine Aktion gestoppt, nachvollzogen oder rückgängig gemacht werden?
Damit verschiebt sich das Risiko erneut. Ein Teil meiner manuellen Fehler kann durch Automatisierung verschwinden, während gleichzeitig neue Abhängigkeiten von Plattformen, Schnittstellen und Berechtigungsarchitekturen entstehen. Deshalb reicht die Frage „Arbeitet die AI richtig?“ nicht. Ebenso wichtig ist: Welche Daten darf sie sehen? Welche Aktionen darf sie ausführen? Was passiert, wenn ein Schlüssel kompromittiert wird? Kann ein Prozess rückgängig gemacht werden? Und wer merkt überhaupt, dass ein Zugriff außerhalb des vorgesehenen Rahmens stattgefunden hat?
Das führt direkt zurück zum Beitrag „Wenn AI Türen öffnet – wer kann wirklich hindurchgehen?“. Dort ging es darum, dass AI neue Handlungsmöglichkeiten eröffnet, aber gleichzeitig Abhängigkeit von technischer Infrastruktur schaffen kann. Artikel 4 zeigt nun die organisatorische Konsequenz: Je mehr Handlungsspielraum eine AI-Infrastruktur ermöglicht, desto sorgfältiger müssen wir festlegen, welche Macht wir ihr tatsächlich geben.
Orientierung statt Verbotsliste
Ein Delegationskompass für AI
Nach dieser gedanklichen Strecke würde ich die Grenze zwischen Mensch und AI nicht mehr anhand fester Tätigkeitslisten ziehen. Eine Rechnung, ein Bewerbungsverfahren, ein Autopilot und eine medizinische Diagnose unterscheiden sich zu stark, als dass eine einzige Regel sinnvoll wäre. Stattdessen würde ich vor einer Delegation den Prozess selbst prüfen.
Klarheit
Sind Ziel, Regeln und Ergebnis eindeutig genug?
Schadenshöhe
Wie schwer und wie gut korrigierbar wäre ein Fehler?
Überprüfbarkeit
Lässt sich das Ergebnis plausibilisieren und belegen?
Reife
Ist der Prozess getestet oder noch in einer Lernphase?
Auswirkungen
Welche Folgen entstehen für andere Menschen?
Unsicherheit
Kann das System Grenzen erkennen und anzeigen?
Redundanz
Welche andere Fehlerquelle prüft das erste Ergebnis?
Eingriff
Wer kann stoppen, eskalieren oder rückgängig machen?
Daten & Rechte
Welche Zugriffe sind wirklich erforderlich und protokolliert?
Zuerst muss klar sein, wie gut Ziel, Regeln und erwartetes Ergebnis definiert sind. Danach stellt sich die Frage nach der möglichen Schadenshöhe: Ist ein Fehler leicht korrigierbar oder kann er für einen Menschen erhebliche Folgen haben? Ebenso wichtig ist die Kontrollierbarkeit. Kann ein Ergebnis plausibilisiert werden, gibt es unabhängige Datenquellen und kann das System Unsicherheit anzeigen, statt um jeden Preis eine Antwort zu produzieren?
Dann kommt die Reife des Prozesses hinzu. Ein neuer Ablauf braucht eine Testphase mit intensiver Kontrolle; ein stabiler Prozess darf später stärker automatisiert und über Stichproben, Grenzwerte und Fehlerindikatoren überwacht werden. Bei folgenreichen Entscheidungen über andere Menschen steigt dagegen die Anforderung an Begründbarkeit, Einspruchsmöglichkeiten und echte menschliche Eingriffskompetenz.
Schließlich würde ich bei wichtigen Entscheidungen ausdrücklich nach Redundanz fragen. Reicht eine AI plus Mensch? Braucht es eine zweite unabhängige AI, einen zweiten Menschen, eine andere Datenquelle oder eine Kombination daraus? Die richtige Antwort wird je nach Risiko unterschiedlich sein. Entscheidend ist, dass die Kontrolle nicht nur formal vorhanden ist, sondern tatsächlich eine andere Fehlerquelle abdecken kann.
Wo die Reise endet
Was wir wirklich nicht delegieren sollten
Am Anfang dieses Artikels habe ich gefragt, was wir an AI delegieren dürfen und was beim Menschen bleiben muss. Nach der Beschäftigung mit Aufzügen, Automatisierungsironie, Recht, Medizin und Kontrollarchitekturen würde ich die Frage heute anders stellen. Vielleicht müssen wir gar nicht für alle Zukunft festlegen, welche einzelnen Tätigkeiten „menschlich“ bleiben sollen. Unter guten Bedingungen kann AI wahrscheinlich sehr viel übernehmen, auch Aufgaben, die wir heute noch für selbstverständlich menschlich halten.
Nicht delegieren sollten wir etwas Grundsätzlicheres: die Verantwortung dafür, welche Ziele ein System verfolgt, nach welchen Regeln es arbeitet, welche Risiken akzeptabel sind und wie eine belastbare Kontrolle organisiert wird. Diese Verantwortung kann durchaus auf mehrere Menschen, Institutionen und technische Systeme verteilt sein. Sie darf aber nicht so weit zerstreut werden, dass am Ende niemand mehr weiß, wer eingreifen kann und wer für die Folgen einsteht.
Damit lande ich an einem anderen Punkt als zu Beginn. Die Zukunftsfrage lautet für mich nicht mehr nur: „Soll am Ende immer ein Mensch entscheiden?“ Ein einzelner Mensch kann genauso falsch liegen wie eine einzelne AI. Interessanter ist deshalb die Frage: Wie bauen wir Kontrollarchitekturen, in denen Menschen und mehrere Systeme ihre jeweiligen Stärken nutzen und ihre jeweiligen Schwächen gegenseitig auffangen?
Zukunftslabor-Nordstern · Birgit Arnold
Je mehr AI für uns tun kann, desto weniger besteht menschliche Verantwortung im Selbermachen – und desto stärker darin, Prozesse so zu gestalten, dass gute Entscheidungen wahrscheinlicher und Fehler sichtbar werden.
Vielleicht brauchen wir bei wichtigen Entscheidungen also nicht weniger Kontrolle, weil AI besser wird, sondern intelligentere Redundanz.
Quellen und weiterführende Literatur
- Otis – Geschichte des Aufzugs und Autotronic-System. Historische Quelle zur Einführung bedienerloser Hochgeschwindigkeitsaufzüge; Unternehmensquelle, daher als konkreter Zeitzeugenbeleg und nicht als vollständige Technikgeschichte verwendet.
- Lisanne Bainbridge (1983): „Ironies of Automation“, Automatica 19(6), 775–779. Originalaufsatz zum Spannungsfeld zwischen automatisiertem Normalbetrieb und menschlicher Rolle im Ausnahmefall.
- Federal Aviation Administration: AC 120-71B. Aktive Leitlinie zu Standardverfahren und Pilot-Monitoring in zunehmend automatisierten Cockpits.
- NIST – Artificial Intelligence Risk Management Framework. Institutioneller Rahmen für AI-Risikomanagement über den Lebenszyklus.
- Datenschutz-Grundverordnung, Artikel 22. Automatisierte Entscheidungen im Einzelfall.
- EU AI Act, insbesondere Artikel 14. Menschliche Aufsicht bei Hochrisiko-AI-Systemen.
- Europäische Kommission – Navigieren im KI-Gesetz. Aktueller Umsetzungsstand und Anwendungstermine; zuletzt für diesen Entwurf am 16. September 2026 geprüft.
- Stanford Encyclopedia of Philosophy – Philosophy of Technology. Philosophische Einordnung von Hans Jonas und Verantwortung in der technologischen Zivilisation.
Hinweis: Die rechtliche Einordnung dient als redaktioneller Gegencheck und ist keine Rechtsberatung. Zeitkritische Angaben werden unmittelbar vor Veröffentlichung erneut geprüft.
Verwandte Beiträge im Zukunftslabor
Eine andere Perspektive?
Das Zukunftslabor soll kein Monolog sein. Wenn du eine Annahme hinterfragen, eine Gegenposition entwickeln oder den Gedanken zur Verantwortung weiterführen möchtest, kannst du einen redaktionell kuratierten Gastbeitrag einreichen. Eine offene Kommentarfunktion gibt es bewusst nicht.
