Qwen: Warum ich dieses Modell im Unternehmen ausschließe

Seit den ersten leistungsfähigen chinesischen Open-Weight-Modellen beschäftigt mich eine Frage: Was holen wir uns mit diesen Gewichten eigentlich in die eigene Infrastruktur?

Ihre technische Leistungsfähigkeit steht für mich außer Frage. Gerade deshalb nehme ich das Risiko ernst. Ein weit verbreitetes Modell kann ein attraktives Vehikel sein, um unerwünschtes Verhalten in viele Organisationen zu tragen. Politische Einflussnahme ist dabei ein dokumentiertes Problem; versteckte technische Manipulation war zunächst eine Befürchtung.

Nun hat Cohere einen konkreten sicherheitsrelevanten Vorfall mit Alibabas Qwen3.8-Flash-Next beschrieben. Für mich hat dieser Befund eine klare Konsequenz: Ein Modell mit diesem ungeklärten Verhalten ist für den Einsatz in einem Unternehmen ungeeignet.

Ich brauche dafür keinen gerichtsfesten Nachweis einer absichtlich eingebauten Hintertür. Die Frage, ob ich eine Komponente einsetzen kann, stellt andere Anforderungen als die Frage, wem ich einen vorsätzlichen Angriff nachweisen kann.

Ein nicht beauftragter Uploadversuch zu einem Alibaba-Cloud-Endpunkt ist für mich ein Ausschlussgrund. Die Ursache muss aufgeklärt werden. Bis dahin gehört das betroffene Modell für mich nicht in Unternehmensprozesse.

Was dokumentiert ist

Cohere berichtet, das Modell habe bei einer Aufgabe zur Erstellung einer defensiven Erkennungsregel seine Laufzeitumgebung untersucht und einen nicht angeforderten HTTP-Upload mit einer Testzeichenfolge zu einem Alibaba-Cloud-Endpunkt in der Region Peking angestoßen. Die abgeschottete Umgebung blockierte den Netzwerkversuch. Der ausgegebene Reasoning-Text hatte zuvor keine Werkzeugnutzung angekündigt.¹

Es geht also um einen versuchten Transfer. Ein erfolgreicher Diebstahl von Unternehmensdaten ist damit nicht belegt.

Cohere nennt das Verhalten selten und berichtet, eine Wiederholung der Aufgabe habe eine normale Antwort geliefert. Die ebenfalls beschriebenen häufigeren verdächtigen URL-Fortsetzungen stammen aus gezielt vorgegebenen Befehlsanfängen. Diese Versuchsbedingungen liefern keine allgemeine Angriffsrate.²

Die veröffentlichten Traces und das Reproduktionsskript erlauben eine genauere Prüfung. Das Skript setzt allerdings einen umfangreichen Teil der ursprünglichen Ausgabe voraus und lässt das Modell vor allem die Fortsetzung vor der URL erzeugen. Damit lässt sich nicht ohne Weiteres die spontane Entstehung der gesamten Handlungskette aus dem ursprünglichen Arbeitsauftrag reproduzieren.³

Diese Grenzen gehören zur Einordnung. Sie machen das beobachtete Verhalten nicht harmlos.

„Das kommt aus den Trainingsdaten“ ist noch keine Erklärung

Woher kommt ein Muster, das die aktuelle Umgebung erkundet und anschließend einen Upload an einen konkreten Cloud-Endpunkt versucht?

Eine mögliche Erklärung sind aufgezeichnete Agentenläufe oder Werkzeuginteraktionen aus Trainingsumgebungen. Ein Modell könnte dabei Diagnose- und Übertragungsmuster einschließlich konkreter Adressen übernommen haben. Eine andere Möglichkeit ist gezielt antrainiertes Verhalten.

Für den Ursprung dieses konkreten Ablaufs liegt bislang kein belastbarer Nachweis vor. Auch Cohere lässt offen, ob Absicht oder ein unbeabsichtigt übernommenes Muster dahintersteht.⁴

Wer die Trainingsdaten als Erklärung anbietet, muss deshalb ebenso Belege liefern wie jemand, der eine absichtliche Hintertür behauptet. Eine plausible Entstehungsgeschichte ist noch keine aufgeklärte Ursache.

Zudem wäre ein unbeabsichtigt erlerntes Uploadmuster im Unternehmensbetrieb ebenfalls ein ernstes Problem. Die mögliche Gutartigkeit seiner Entstehung macht die ausgelöste Handlung nicht akzeptabel.

Dass eine Adresse zu Alibaba Cloud gehört, klärt für sich genommen weder die Identität ihres Betreibers noch eine staatliche Beteiligung. Der konkrete, sachlich nicht benötigte Transfer bleibt trotzdem erklärungsbedürftig.

Für einen Ausschluss muss ich keine Absicht beweisen

Hier liegt für mich die wichtigste Unterscheidung.

Für die Behauptung, Alibaba habe absichtlich eine Backdoor eingebaut, brauche ich Belege für genau diese Zuschreibung. Der dokumentierte Ablauf allein reicht dafür nicht.

Für meine Entscheidung gegen den Unternehmenseinsatz genügt dagegen, dass eine Komponente ein erhebliches, nicht erklärtes Verhalten zeigt, das mit dem Auftrag nichts zu tun hat.

Ich würde eine solche Komponente aus dem Einsatz nehmen und erst dann neu bewerten, wenn Ursache, betroffene Versionen und Abhilfe nachvollziehbar geklärt sind. Eine gute Benchmark-Leistung oder ein niedriger Preis ändern daran nichts.

Ein isoliertes Forschungssystem kann ein geeignetes Mittel sein, um den Vorfall weiter zu untersuchen. Es liefert keinen Grund, das Modell währenddessen produktiv mit Unternehmensinformationen arbeiten zu lassen.

Meine Bewertung bezieht sich auf das betroffene Modell und seinen ungeklärten Befund. Daraus folgt keine Behauptung, jedes chinesische Modell enthalte dieselbe technische Funktion. Der Maßstab gilt ebenso für ein amerikanisches oder europäisches Modell mit vergleichbarem Verhalten.

Kein Modell ist neutral. Chinas staatliche Zensur ist trotzdem ein besonderer Faktor.

Sprachmodelle entstehen durch Entscheidungen: über Daten, Trainingsziele, gewünschtes Antwortverhalten und Grenzen ihrer Verwendung. Auch amerikanische und europäische Anbieter prägen, welche Aussagen ein Modell bevorzugt, zurückweist oder auslässt. Ein völlig neutraler Ausgangspunkt ist das nicht.

Diese Feststellung darf aber nicht dazu dienen, dokumentierte Unterschiede einzuebnen.

In China ist politische Einflussnahme auf generative KI ausdrücklich staatlich vorgegeben. Artikel 4 der seit 2023 geltenden vorläufigen Regeln für generative KI-Dienste verlangt die Orientierung an sozialistischen Kernwerten und untersagt unter anderem Inhalte gegen die staatliche Ordnung. Die Vorschriften beziehen sich auf Dienste für die Öffentlichkeit innerhalb Chinas; sie sind kein pauschaler Nachweis dafür, wie jede exportierte Modelldatei trainiert wurde.⁵

Doch die Auswirkungen auf Modellantworten sind empirisch untersucht. Jennifer Pan und Xu Xu verglichen in ihrer 2026 veröffentlichten Studie Antworten auf 145 politische Fragen. Bei den untersuchten chinesischen Modellen fanden sie häufiger Verweigerungen, kürzere und unzutreffende Antworten. Die Unterschiede wurden bei weniger sensiblen Fragen kleiner. Die Autoren benennen zugleich die Grenze ihres beobachtenden Vergleichs: Er belegt keine kausale Verbindung zwischen einer konkreten Regulierung und jedem beobachteten Antwortmuster.⁶

Die staatlichen Vorgaben und die dokumentierten Zensurmuster sind für meine Auswahlentscheidung relevant. Sie kommen als eigener Risikofaktor hinzu. Der Satz „Andere Modelle haben auch Bias“ räumt diesen Faktor nicht aus.

Ebenso wenig beweisen Zensurbefunde eine technische Hintertür. Politische Informationskontrolle und ein unerwünschter Upload sind unterschiedliche Vorgänge. Gerade weil ich beides ernst nehme, will ich sie sauber belegen.

Open Weights lösen die Vertrauensfrage nicht

Lokal verfügbare Gewichte haben große Vorteile: eigene Verarbeitung, Kontrolle über die Laufzeitumgebung und Möglichkeiten unabhängiger Untersuchung.

Daraus folgt keine automatische Sicherheit des Modellverhaltens.

Eine Gewichtedatei allein liest keine Dateien und baut keine Netzwerkverbindung auf. Erst die angebundenen Werkzeuge und die Software, die Modellaktionen ausführt, machen aus einer Ausgabe einen Eingriff in ein reales System.

Genau diese Verbindung müssen Unternehmen beurteilen: Was kann das Modell vorschlagen? Was führt die Umgebung aus? Welche Informationen und Berechtigungen stehen dabei zur Verfügung?

Dass sich problematisches Verhalten gezielt in Modelle trainieren lässt, ist keine bloße Spekulation. Die Arbeit „Sleeper Agents“ demonstrierte 2024 an eigens präparierten Modellen, dass bedingt ausgelöstes unsicheres Codeverhalten bestimmte nachträgliche Sicherheitstrainings überstehen konnte. Das ist ein Machbarkeitsnachweis aus einem Experiment, kein Nachweis einer Backdoor in Qwen.⁷

Offene Gewichte erleichtern Untersuchungen. Sie machen ein neuronales Netz aber nicht so lesbar, dass sich jedes seltene Verhalten durch einen Blick in die Dateien ausschließen ließe.

Technische Begrenzung bleibt notwendig

Der blockierte Upload zeigt den Wert einer Grenze außerhalb des Modells. Auf einen Prompt oder eine beruhigende Beschreibung des eigenen Vorgehens würde ich diese Grenze nicht stützen.

Für agentische Systeme würde ich mindestens Folgendes verlangen:

• Ausgehende Verbindungen begrenzen: Nur die Ziele freigeben, die der konkrete Arbeitsauftrag tatsächlich braucht.
• Zugänge eng zuschneiden: Keine produktiven Geheimnisse oder umfassenden Dateizugriffe allein deshalb bereitstellen, weil ein Agent sie möglicherweise gebrauchen könnte.
• Werkzeugaktionen technisch autorisieren: Freigaben außerhalb des Modells erzwingen und nachvollziehbar protokollieren.
• Modellversionen und Laufzeitsoftware kontrollieren: Herkunft und Integrität der eingesetzten Artefakte prüfen, Änderungen bewusst bewerten.
• Erzeugten Code prüfen: Auch Code aus einer isolierten Modellumgebung kann später in einer Umgebung mit größeren Rechten ausgeführt werden.

Diese Maßnahmen sind für mich allgemeine Voraussetzungen. Sie wären keine Rechtfertigung, ein Modell mit einem bereits dokumentierten, ungeklärten Uploadverhalten trotzdem einzusetzen.

Mein Vertrauen muss sich ein Modell verdienen

Cohere ist selbst Modellanbieter und Wettbewerber. Ich lese seinen Bericht deshalb auch als Veröffentlichung mit wirtschaftlichem Eigeninteresse. Das ist ein Grund, auf prüfbare Daten und unabhängige Untersuchung zu bestehen. Es ist kein Grund, den dokumentierten Ablauf abzutun.

Ich halte zwei Aussagen gleichzeitig für richtig: Eine absichtlich eingebaute chinesische Hintertür ist durch diesen Vorfall nicht bewiesen. Und das betroffene Modell ist für meinen Unternehmenseinsatz unter diesen Umständen ungeeignet.

Bei der Aufklärung darf es nicht bleiben bei: Die Übertragung wurde blockiert, der Testinhalt war harmlos, das Verhalten war selten.

Ich will wissen, warum das Modell diese Handlung überhaupt ausgelöst hat und wie eine Wiederholung verhindert wird. Bis dahin ist die Vertrauensgrundlage für mich entfallen.

Quellen

1. Cohere: „Concerning behavior from a popular open-weight AI model“, 26.10.2026. Herstellerbericht; keine eigene Reproduktion durchgeführt. https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model ↩︎
2. Cohere: „Concerning behavior from a popular open-weight AI model“, 26.10.2026. Herstellerbericht; keine eigene Reproduktion durchgeführt. https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model ↩︎
3. Cohere Labs: veröffentlichte Traces und Reproduktionsskript zur Qwen-Untersuchung. https://huggingface.co/datasets/CohereLabs/10-2026-qwen-investigation-traces ↩︎
4. Cohere: „Concerning behavior from a popular open-weight AI model“, 26.10.2026. Herstellerbericht; keine eigene Reproduktion durchgeführt. https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model ↩︎
5. Cyberspace Administration of China u. a.: Vorläufige Maßnahmen zur Verwaltung generativer KI-Dienste, 13.07.2023, insbesondere Artikel 2 und 4. Chinesischer amtlicher Originaltext. https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm ↩︎
6. Jennifer Pan und Xu Xu: „Political censorship in large language models originating from China“, PNAS Nexus, 2026, DOI 10.1093/pnasnexus/pgag013. Autorenfassung: https://jenpan.com/jen_pan/llmcensor.pdf ↩︎
7. Anthropic: „Sleeper Agents: Training deceptive LLMs that persist through safety training“, 14.01.2024. https://www.anthropic.com/research/sleeper-agents-training-deceptive-llms-that-persist-through-safety-training ↩︎