Agentenbasierte Softwarebereitstellung: Wer trägt die Verantwortung?

Die wichtigsten Erkenntnisse

• Die wenigsten Governance-Frameworks sind auf das hohe Tempo ausgelegt, in dem KI-Agenten Code generieren, Tests ausführen und Software durch Delivery Pipelines bewegen.
• Obwohl 57 % der Unternehmen Agenten in der Produktion einsetzen, fehlen bei vielen formale Test- und Aufsichtsprozesse.
• Im Ergebnis besteht eine strukturelle Lücke zwischen dem hohen Liefertempo der KI und dem Maß der Verantwortung, die Menschen für das Gelieferte übernehmen. Diese Lücke zu schließen ist entscheidend.

Wer trägt die Verantwortung, wenn KI den Code schreibt?

In einigen der modernsten Engineering-Organisationen der Welt schreiben die besten Entwickler bereits null Prozent ihres Codes von Hand. KI-Agenten generieren Funktionen, erstellen Testsuiten und bewegen Software durch Delivery-Pipelines – schneller, als die meisten Governance-Frameworks ursprünglich gedacht waren. Die hohe Geschwindigkeit ist real, genauso aber auch das Risiko, das mit ihr einhergeht.

Wenn etwas schiefgeht – und das wird passieren –, stellt sich für jede Führungskraft die Frage nach der Verantwortung. Sie lautet allerdings nicht, welches Tool den Fehler verursacht hat, sondern wer die Entscheidung zur Veröffentlichung gegeben hat. Die wenigsten Unternehmen können bisher eine klare Antwort darauf geben. Und genau in dieser Lücke zwischen dem hohen KI-Tempo und der menschlichen Verantwortlichkeit türmt sich ein ernstzunehmendes Geschäftsrisiko auf.

Der Einsatz hat zugenommen, die Aufsicht nicht

Diese Zahlen sind beachtlich: Der Bericht „State of Agent Engineering 2026“ von LangChain, für den mehr als 1.300 Entwickler und technische Führungskräfte befragt wurden, ergab, dass 57 % der Unternehmen in ihrer Produktionsumgebung bereits Agenten einsetzen, die echte Arbeit erledigen. Allerdings testet weniger als die Hälfte alles formell durch. Was passiert also, wenn ein Agent etwas falsch macht?

Das ist die Frage, die viele Teams noch davon abhält, agentische KI vollständig einzuführen. Sicherheits- und Risikobedenken sind mittlerweile das größte Hindernis für den großflächigen Arbeitseinsatz von Agenten, wie eine McKinsey-Umfrage von 2026 ergab.

Dieses Muster zeichnet sich in allen Branchen ab. Unternehmen experimentieren mit autonomer Ausführung, ohne vorher für sich geklärt zu haben, wo die Vertrauensgrenzen liegen sollten oder wer verantwortlich ist, wenn etwas schief geht. Wie ein Sicherheitsexperte in einer aktuellen ISACA-Analyse feststellte: „Es besteht ein bedeutender Unterschied, ob eine Technologie einsatzfähig oder einsatzbereit ist.“

Die Übergabe, die niemand gemacht hat

Ein Entwickler hat genau diese Art von Versagen dokumentiert: Ein KI-Agent, der mit der Migration einer Reihe von API-Handlern beauftragt war, schloss die ihm zugewiesene Migration problemlos ab, bemerkte dann aber ein abweichendes Fehlerantwortformat in einem anderen Handler und korrigierte auch dieses. Technisch war die Korrektur korrekt. Es stellte sich jedoch heraus, dass die Formatabweichung beabsichtigt war und zu einer älteren Vereinbarung mit einem externen Partner gehörte, die nirgendwo in der Codebasis hinterlegt war.

Wenn ein KI-Agent Code schreibt, diesen reviewt, Tests laufen lässt und ihn als lieferbereit kennzeichnet, hat der Mensch, dem er zugewiesen ist, möglicherweise keine einzige Zeile davon gelesen. Das ist kein Versagen des Entwicklers, sondern eine strukturelle Lücke in der Aufsetzung der meisten agentischen Workflows.

Die Analyse zum agentenbasierten Engineering von CIO für 2026 beschreibt, wie das sich neu entwickelnde Modell aussieht: KI-Agenten übernehmen die erste Ausführungsrunde – von der Aufsetzung der Grundstruktur über das Testen bis hin zur Dokumentation –, während Entwickler das Ergebnis auf Korrektheit und Risiken überprüfen. Theoretisch verbleibt die Verantwortung für die Architektur und das Ergebnis so beim Menschen. Doch die Handoffs halten diesem Anspruch unter Druck nicht immer stand.

Besser strukturierte Teams sehen dies als Problem des Betriebsmodells und integrieren das Testen in jede Phase ihrer agentischen Pipeline. Die zu Beginn dieses Jahres veröffentlichten Empfehlungen des CodeRabbit Vice Presidents David Loker raten Enterprise-Führungskräften dazu, eine mehrstufige Validierung mit mehreren Agenten zu etablieren: Ein Agent schreibt den Code, ein anderer überprüft ihn kritisch, während wiederum andere Agenten die Tests und die Compliance-Prüfungen übernehmen. Bei dieser Vorgehensweise verteilt sich die Verantwortlichkeit auf mehrere automatisierte Prüfungen im Verlaufe der Codeentstehung und wird nicht erst ganz am Schluss angehängt. So lässt sich genau ermitteln, an welcher Stelle und warum etwas schiefgelaufen ist, und kann lange vor dem Einsatz in einer Produktionsumgebung behoben werden.

Sehen Sie sich dieses Webinar an: Die agentische Quality-Engineering-Plattform

Die Governance-Lücke wird zu einem rechtlichen Problem

Das Multi-Agenten-Validierungsmodell klingt in der Theorie elegant und ist es größtenteils auch. Doch gesetzliche Compliance-Vorgaben rücken schneller näher, als die meisten Engineering-Teams darauf vorbereitet sind. Die EU-Mitgliedstaaten haben mit dem AI Act das weltweit erste Gesetz zur Regulierung von KI verabschiedet. Die Frist für die Durchsetzung dieser Verordnung für hochriskante KI-Systeme tritt bereits im August 2026 ein. Bei Nichteinhaltung drohen empfindliche Strafen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes. Wie im Governance-Leitfaden von Secure Privacy treffend festgestellt, hat sich damit die Regulierung Künstlicher Intelligenz von einer freiwilligen ethischen Leitlinie zu einer verpflichtenden betrieblichen Infrastruktur gewandelt. Systeme, die vor 18 Monaten noch Softwarefunktionen waren, gelten heute in einigen Kontexten als regulierte KI-Systeme, die vor dem Deployment eine formelle Risikobewertung unter menschlicher Aufsicht mit technischer Dokumentation und Protokollierung als Nachweis erfordern.

Die wenigsten Engineering-Teams haben bei der Aufsetzung ihrer agentischen Workflows solche Kontrollen eingerichtet.

Die nachträgliche Integration ist jetzt deutlich schwieriger, als wenn sie von Anfang an mit hätte berücksichtigt werden können.

Wie sieht betriebliche Bereitschaft bei agentischer KI aus?

Die wichtigste Engineering-Herausforderung der nächsten zwei Jahre klingt möglicherweise einfacher, als Sie erwartet haben: zu wissen, was Sie ausliefern.

Diese Aussage beinhaltet allerdings mehr, als nur Menschen am Prozess zu beteiligen. Sie bedeutet, dass auf Workflow-Ebene festgelegt wird, welche Entscheidungen eine menschliche Freigabe erfordern und welche autonom ablaufen können. Sie bedeutet, dass in jeder Phase der Bereitstellung eine kontinuierliche, automatisierte Validierung stattfindet – mit Audit Trails, die jede Entscheidung nachvollziehbar machen. KI-Agenten als reine Werkzeuge zu betrachten, ist eine Untertreibung für das, was sie im Arbeitsalltag tatsächlich tun. Ihr Verhalten gleicht eher dem von Teammitgliedern, und sie benötigen dasselbe wie jedes andere Teammitglied auch: eine Managementstruktur, einen eindeutig umrissenen Aufgabenbereich und klar definierte Grenzen.

Die Unternehmen, die sich diese Denkweise zu eigen machen, werden schneller vorankommen und größeres Vertrauen in die Verlässlichkeit ihres Codes haben. Diejenigen, die das nicht tun, werden letztlich etwas liefern, was sie einem Kunden, einer Aufsichtsbehörde oder einem Vorstand im Zweifelsfall nicht plausibel erklären können.