Falsche Informationen durch KI führen beinahe zu einem „Zusammenstoß mit chinesischem Schiff“ – Ein „plausibler Fehler“, der einen Krieg auslösen könnte

US-amerikanische Analysten fragten die KI nach der Ladung eines Schiffes. Die KI entschied, dass es sich um Teile für ein Nuklearwaffenprogramm handelte. Basierend auf diesen Informationen wurde ein Bericht erstellt, und die Truppen begannen, sich auf die Durchsuchung des chinesischen Schiffes vorzubereiten.

Allerdings waren die zugrunde liegenden Informationen falsch.

Berichten zufolge wurde die Operation in letzter Minute abgebrochen. Nur weil Menschen den Fehler letztendlich entdeckten, kam es nicht zu einem bewaffneten Konflikt, aber es ist zu riskant, dies als beruhigend zu bezeichnen. Der falsche Schluss blieb nicht nur ein Entwurf oder eine Notiz auf dem Schreibtisch, sondern erreichte die Stufe, auf der Soldaten und Flugzeuge mobilisiert wurden.

Das eigentliche Problem, das dieser Vorfall aufzeigt, ist nicht nur die bekannte Schwäche, dass „KI Fehler macht“. Es geht darum, wie die Vermutungen der KI das Erscheinungsbild „vertrauenswürdiger Informationen“ annahmen und durch die Befehlskette der Organisation gingen. Dieser Prozess birgt Gefahren, die allen Organisationen gemeinsam sind, die KI nutzen, nicht nur im militärischen Bereich, sondern auch in Verwaltung, Medizin, Finanzen und Medien.

Was transportierte das chinesische Schiff?

Laut einem CNN-Bericht, der von stern und AFP zitiert wurde, ereignete sich das Problem im Frühjahr 2026, inmitten militärischer Spannungen zwischen den USA und dem Iran. Ein Analyst, der mit US-Spezialeinheiten in Verbindung steht, untersuchte Informationen über die Fracht des Schiffes mit einem KI-Chatbot, der zu dem Schluss kam, dass Teile für Nuklearwaffen an Bord seien.

Es wird angenommen, dass die KI öffentliche Informationen mit Daten von Geheimdiensten kombinierte und eine falsche Verbindung herstellte. Darüber hinaus erstellte der Analyst mit Hilfe der KI einen Bericht und leitete diesen an die zuständigen Abteilungen weiter. Das bedeutet, dass die KI möglicherweise zunächst bei der „Analyse“ einen Fehler machte und diesen Fehler dann in einen „geordneten Bericht“ umwandelte.

Wichtig ist hier die Begrenzung der derzeit überprüfbaren Fakten. Der Name des betroffenen Schiffes, die tatsächliche Ladung, das Ziel und ob der verwendete Chatbot ein kommerzielles Produkt oder ein internes Regierungsprodukt war, sind nicht bekannt. Weder das US-Militär noch die Verteidigungsbehörden haben zum Zeitpunkt der Berichterstattung Details erklärt. Daher sind Interpretationen wie „Die KI hat autonom einen Angriffsbefehl erteilt“ oder „Es wurden tatsächlich Nuklearwaffen transportiert“ übertrieben.

Andererseits, wenn die Aussagen mehrerer Beteiligter zutreffen, dass US-Soldaten sich auf die Durchsuchung des Schiffes vorbereiteten und Flugzeuge bereits in der Luft waren, dann kam die falsche Information der tatsächlichen militärischen Aktion ziemlich nahe. Wenn US-Soldaten an Bord eines chinesischen Schiffes gingen, könnte dies, selbst wenn es nicht zu Schüssen käme, ein ernsthaftes diplomatisches Problem in Bezug auf Souveränitätsverletzung und Freiheit der Schifffahrt darstellen. Wenn es vor Ort zu Widerstand oder Fehlfeuer käme, könnte die Krise schnell eskalieren.

Warum wurde der Fehler der KI zu einem „glaubwürdigen Bericht“?

Generative KI antwortet nicht immer ehrlich mit „Ich weiß es nicht“, wenn sie etwas nicht weiß. Sie konstruiert aus fragmentarischen Informationen eine wahrscheinlich plausible Erklärung. Je flüssiger der Text ist und je mehr Fachbegriffe und eine geordnete Struktur er enthält, desto eher fühlt sich der Leser geneigt, den Inhalt selbst als korrekt zu betrachten.

Das Besorgniserregende an diesem Bericht ist, dass dieser „Anschein von Plausibilität“ möglicherweise doppelt gewirkt hat.

In der ersten Phase verband der Chatbot Fragmente über die Ladung und gab ihnen die falsche Bedeutung von Nuklearwaffenteilen. In der nächsten Phase formte die KI diese Schlussfolgerung in einen Text, der wie ein Informationsbericht aussah. Die Vermutung erhielt durch Format und Stil das Aussehen von Fakten. Wenn der Leser nicht zu den Originalquellen zurückkehrt, verschwimmt die Grenze zwischen Vermutung und verifizierten Informationen.

Auch von Menschen geschriebene Berichte enthalten Fehler. Doch mit generativer KI kann man in kurzer Zeit eine große Menge an Texten erstellen und denselben Fehler schnell in Zusammenfassungen, Übersetzungen, Berichten und Erklärungsdokumenten replizieren. Nicht nur die Wahrscheinlichkeit des Auftretens von Fehlern ändert sich, sondern auch die Geschwindigkeit, mit der sich Fehler innerhalb der Organisation bewegen.

Dies ist kein Problem von „KI gegen Mensch“. Es ist ein Problem der „Kette von Mensch und KI“, bei dem Menschen, die die KI-Ausgabe erhalten, die Quelle, Genauigkeit und gegenteilige Beweise nicht überprüfen und sie einfach an die nächste Person weitergeben.

Auf sozialen Netzwerken gibt es nicht nur „KI-Angst“, sondern auch Stimmen, die die Verantwortung der Organisationen in Frage stellen

Auf internationalen Foren und sozialen Netzwerken, die diese Nachricht behandelten, verbreiteten sich starke Besorgnis und Ironie. Die Reaktionen, die aus öffentlichen Beiträgen sichtbar sind, lassen sich hauptsächlich in vier Argumentationspunkte unterteilen. Dies ist jedoch eine qualitative Analyse der öffentlich zugänglichen Beiträge und hat nicht die Repräsentativität einer Meinungsumfrage.

Der erste Punkt ist die Warnung, dass „Sprachmodelle nicht in der Nähe militärischer Aktionen platziert werden sollten“. Es gab zahlreiche Beiträge, die eine Zukunft fürchten, in der dieselbe Denkweise auf Nuklearwaffensysteme angewendet wird, und Stimmen, die auf die Gefahr hinweisen, Vorhersagetexte als Grundlage für feindliche Handlungen zu verwenden. Die Ansicht ist, dass nicht die KI selbst rebelliert, sondern dass Menschen, die Bequemlichkeit priorisieren und wichtige Entscheidungen delegieren, die Krise verursachen.

Der zweite Punkt ist die Kritik, dass „das Versagen der Befehlskette das Problem ist, nicht die KI“. Wenn Berichte ohne Überprüfung der Rohdaten erstellt wurden und die Truppen zu handeln begannen, sollte die Verantwortung nicht allein auf den Chatbot geschoben werden. Es wird die Frage aufgeworfen, ob es einen Mechanismus gab, der die Nutzung der KI deutlich machte, ein Audit-Trail, der die Grundlage der Berichte nachvollziehbar machte, und eine unabhängige Überprüfung durch Analysten.

Der dritte Punkt ist das Gegenargument, dass „der Überprüfungsprozess funktionierte, weil er letztendlich gestoppt wurde“. Wenn die Truppen für den Fall, dass die Bedrohung real war, vorbereitet wurden, während die Informationen parallel dazu erneut überprüft wurden und die Operation gestoppt wurde, weil ein Fehler festgestellt wurde, dann gibt es eine gewisse Rationalität in der Krisenbewältigung.

Allerdings gibt es zu diesem Gegenargument die Gegenmeinung, dass „die Überprüfung vor dem Einsatz von Flugzeugen und Soldaten hätte erfolgen sollen“. Die Vorbereitungsmaßnahmen selbst könnten vom Gegner entdeckt werden und Missverständnisse oder Gegenmaßnahmen hervorrufen. In der militärischen Welt ist nicht nur der endgültige Befehl ein Signal. Die Bewegung der Truppen, der Start von Flugzeugen und die Zunahme des Kommunikationsvolumens sind ebenfalls Materialien, aus denen der Gegner die Absichten ableiten kann.

Der vierte Punkt ist die Forderung nach einer „Kennzeichnung der KI-Nutzung“. Es wird darauf hingewiesen, dass Entscheidungsträger auf einen Blick erkennen können sollten, welcher Teil des Berichts von der KI generiert wurde, auf welchen Informationsquellen er basiert und wie hoch der Grad der Sicherheit war. Das Problem ist weniger die Nutzung der KI an sich, sondern die Tatsache, dass sie ohne sichtbare Unterscheidung wie menschliche Analyse behandelt wird.

„Der Mensch als letzte Instanz“ reicht nicht aus

In der KI-Governance wird oft gesagt, dass „der Mensch die endgültige Entscheidung trifft“. Doch der vorliegende Fall zeigt, dass diese Worte allein keine Sicherheit garantieren können.

Selbst wenn der endgültige Genehmiger ein Mensch ist, wird der Bericht, der eingegeben wird, von der KI verzerrt, und wenn diese Tatsache unsichtbar ist und die Überprüfungszeit fehlt, wird der Mensch im Wesentlichen nur die Schlussfolgerung der KI bestätigen. Formal trifft der Mensch die Entscheidung, aber die Optionen und Prämissen der Entscheidung werden von der KI erstellt.

Notwendig ist nicht das Schild „Human in the Loop“, sondern ein Design, bei dem Menschen wirklich Einspruch erheben können. Konkret fehlen mindestens die folgenden Bedingungen.

• Kennzeichnung der von der KI verwendeten und nicht verwendeten Teile

• Nachverfolgbarkeit der Originalmaterialien, Eingaben, Ausgaben und Bearbeitungshistorie der KI

• Wichtige Fakten unabhängig von der KI überprüfen

• Mehrere Personen müssen Informationen bestätigen, die zu Waffengewalt führen können

• Informationen mit geringer Sicherheit nicht in definitive Sätze umwandeln

• Einen Verantwortlichen für die Prüfung gegenteiliger Hypothesen benennen

• Bestimmen Sie die Überprüfungspunkte, die auch in Notfällen nicht ausgelassen werden dürfen

• Sobald ein Fehler festgestellt wird, sofort nachverfolgen, wie weit er verbreitet wurde, und ihn zurückziehen

Es reicht nicht aus, nur die Genauigkeit der KI zu erhöhen. Egal wie leistungsfähig das Modell ist, es gibt keine Garantie dafür, dass Fehler auf null reduziert werden. Je leistungsfähiger das Modell wird und je natürlicher der Text ist, desto eher lassen Menschen ihre Wachsamkeit nach. Die Sicherheit wird nicht durch die Leistung des Modells allein bestimmt, sondern durch die Verfahren und Verantwortlichkeiten der Organisation, die es verwendet.

Für Japan ist es kein „Fehler in fernen Gewässern“

Japan ist kein Beobachter außerhalb des US-chinesischen Konflikts. Das Ostchinesische Meer, die Umgebung der Senkaku-Inseln, die Taiwanstraße und die Südwestinseln sind Räume, in denen Schiffe und Flugzeuge sich schon in Friedenszeiten nähern und die Absichten des Gegners in kurzer Zeit beurteilt werden müssen. In diesen Bereichen kann KI bei der Verarbeitung großer Datenmengen wie Schiffsidentifikation, Kursanalyse, Funkinformationen, Satellitenbilder und öffentliche Informationen von großem Nutzen sein.

In Japan, wo der Arbeitskräftemangel zunimmt, ist die Erwartung an KI und Automatisierung stark. Das Verteidigungsministerium hat die Einführung von KI für die Basisverteidigung und die Nutzung von automatisierten und personalreduzierten Ausrüstungen vorangetrieben. Dies ist eine rationale Richtung, um mit begrenztem Personal den Überwachungsbereich zu erweitern, und es ist nicht notwendig, die KI selbst auszuschließen.

Allerdings besteht in der Umgebung Japans die Möglichkeit, dass ein einziger Fehler über das US-japanische Bündnis zu größeren Konflikten führt. Wenn beispielsweise die KI die Ausrüstung oder das Verhalten eines Schiffs fälschlicherweise als feindlich interpretiert und diese Bewertung über ein gemeinsames System an mehrere Einheiten der USA und Japans weitergegeben wird, könnte die Alarmbereitschaft verschärft werden, bevor die falschen Informationen korrigiert werden. Wenn die Gegenseite diese Bewegung entdeckt und als „Angriffsvorbereitung“ interpretiert, könnte das „Sicherheitsdilemma“, bei dem Verteidigungsmaßnahmen des einen als Angriffsvorbereitung des anderen erscheinen, beschleunigt werden.

Worauf Japan achten sollte, ist nicht die binäre Entscheidung, ob KI eingeführt wird oder nicht, sondern die Grenze, bis zu welcher Entscheidung KI überlassen wird und ab welchem Punkt eine unabhängige menschliche Bestätigung erforderlich ist. Insbesondere sollten die vier Punkte der Zielidentifikation, der Verbindung mit Waffen, der Einschätzung feindlicher Absichten und der Notwendigkeit von Waffengewalt nicht in einer Kette von KI-Ausgaben verwendet werden.

Auch Informationen, die von Verbündeten kommen, sollten nicht automatisch als „von der US-Seite bestätigt“ betrachtet und vertraut werden. Es sind gemeinsame Regeln erforderlich, die die Nutzung der KI, die Anzahl der Informationsquellen, die Sicherheit, gegenteilige Informationen und den Zeitpunkt der letzten Aktualisierung teilen. Je schneller gemeinsame Operationen werden, desto mehr muss auch eine gemeinsame Sprache für die Überprüfung entwickelt werden.

Die „Prüfungsschuld“, die durch militärische KI entsteht, die auf Geschwindigkeit setzt

Einer der Hauptgründe, warum militärische Organisationen auf KI setzen, ist die Möglichkeit, Entscheidungen schneller treffen zu können. Den Gegner schneller entdecken, verstehen, entscheiden und handeln. Doch je mehr die Geschwindigkeit erhöht wird, desto weniger Zeit bleibt für die Überprüfung.

Hier entsteht die „Prüfungsschuld“. Auch wenn die Analysezeit durch KI verkürzt wird, verschwindet die Überprüfungsarbeit nicht, wenn Menschen die Grundlage der Ausgabe später erneut untersuchen. Sie wird nur in den nachfolgenden Abschnitt verschoben. Außerdem sind die Kosten und Risiken für die Korrektur von Fehlern größer, wenn die Truppen bereits in Bewegung sind.

Was wirklich notwendig ist, ist nicht ein System, das die Überprüfung auslässt, um schneller zu sein, sondern ein System, das schnell ist, während die Überprüfbarkeit erhalten bleibt. Die Quellen sollten automatisch angezeigt werden, widersprüchliche Informationen sollten nebeneinander präsentiert werden, und Unsicherheiten sollten in Zahlen oder Stufen angezeigt werden. Für wichtige Schlussfolgerungen sollte automatisch eine Überprüfung durch ein anderes Modell und einen anderen Verantwortlichen erforderlich sein. Ohne ein solches Design wird KI nicht zu einem Werkzeug zur Beschleunigung von Entscheidungen, sondern zu einem Gerät zur schnellen Verbreitung von Missverständnissen.

Gefragt ist nicht die Intelligenz der KI, sondern die Regierungsfähigkeit der Menschen

Der vorliegende Vorfall ist keine Geschichte über eine ferne Zukunft, in der sogenannte Superintelligenz die Menschheit beherrscht. Es ist eine äußerst realistische Krise, in der komplexe Organisationen und beschäftigte Menschen die plausiblen Fehler der heutigen KI glauben.

Die Tatsache, dass die Operation abgebrochen wurde, zeigt, dass die menschliche Überprüfung die letzte Barriere war. Gleichzeitig zeigt es den Verdacht, dass diese Barriere bis kurz vor der Operation nicht funktionierte. Es gibt keine Garantie, dass es beim nächsten Mal genauso rechtzeitig sein wird.

Es ist nicht realistisch, in eine Welt ohne KI zurückzukehren. Daher muss das Misstrauen gegenüber den Ausgaben der KI nicht der individuellen Aufmerksamkeit überlassen, sondern in die Systeme der Organisation integriert werden. Wichtig ist nicht nur „wer am Ende den Knopf drückt“. Wer überprüft die Grundlage, wer erhebt Einspruch, wer kann stoppen und wer trägt die Verantwortung, wenn ein Fehler gemacht wird.

Auch für Japan ist es nicht nur wichtig, die Geschwindigkeit der KI-Einführung zu messen. Es ist wichtiger, ein System zu schaffen, das aufhören kann, vorausgesetzt, dass Fehler auftreten. Die letzte Linie zur Verhinderung von Kriegen ist nicht die Leistung der KI, sondern ein System, in dem Menschen zweifeln, überprüfen und umke