OpenAI fügt in der Europäischen Union einen unsichtbaren ChatGPT-Wasserzeichen zu Chatbot-Texten und Codex-Code-Ausgaben hinzu. Dennoch zeigen eigene Tests des Unternehmens: Wird ein Viertel der Wörter durch Synonyme ersetzt, sinkt die Erkennungsrate auf nur 17%.
Damit beantwortet OpenAI die Anforderungen des EU AI Act, dem KI-Regelwerk der Europäischen Union, das maschinenlesbare Kennzeichnungen für KI-generierte Texte verlangt. OpenAI räumt aber ein, dass die Technik noch unausgereift ist, daher bleibt der Detektor vorerst unter Verschluss.
Wie stark ist das ChatGPT-Wasserzeichen, wenn jemand den Text bearbeitet?
Laut der Ankündigung trägt das System mit dem Namen textGrain durch gezielte Wortwahl ein verstecktes, statistisches Muster in den Text ein. Ein separater Detektor durchsucht anschließend die Abschnitte nach diesem Muster.
Das Wasserzeichen steckt laut OpenAI in der Formulierung selbst, wie es in der FAQ erklärt wird. Es werden keine versteckten Zeichen, unsichtbaren Leerzeichen oder ungewöhnliche Satzzeichen hinzugefügt. Trickversuche, versteckte Zeichen zu entfernen, haben daher keinen Effekt.
Die Länge des Textes spielt eine große Rolle. OpenAI misst Text in Token, das sind Wortteile, die KI-Modelle verarbeiten. Ein Token entspricht etwa drei Viertel eines englischen Wortes.
In den Tests von OpenAI erkannte der Detektor etwa 66% der unbearbeiteten Antworten mit rund 150 Wörtern. Bei etwa 300 Wörtern stieg die Erkennungsrate auf rund 92%.
Leichte Bearbeitungen schwächen das ChatGPT-Wasserzeichen ebenfalls. Bei 300-Wörter-Texten senkte das Ersetzen jedes zehnten Wortes durch ein Synonym die Erkennung von 92% auf 66%. Wenn ein Viertel aller Wörter getauscht wird, fällt die Erkennungsrate auf nur 17%.
Das Wasserzeichen hatte kaum Einfluss auf die Benchmark-Ergebnisse für GPT-6 Astra von OpenAI, das neueste Modell des Unternehmens.
Warum dürfen Nutzer den Detektor nicht selbst nutzen?
Statt eines öffentlichen Tools nimmt OpenAI Bewerbungen von anerkannten Forschern und Fachorganisationen an. Das Unternehmen betont, dass ein positives Ergebnis weder Nutzer, noch Prompts oder Konversationen preisgibt.
Auch ein negatives Ergebnis liefert wenig Gewissheit. Kurze, bearbeitete oder übersetzte Texte können den Detektor umgehen, ebenso wie Ausgaben von anderen KI-Tools.
Das Fehlen eines erkannten Wasserzeichens beweist keine menschliche Urheberschaft.
Quelle: OpenAI
Bilder und Audio funktionieren anders. Jeder kann diese Dateien im öffentlichen Verifizierungstool von OpenAI hochladen und auf das SynthID-Wasserzeichen prüfen.
Außerhalb Europas ist das ChatGPT-Wasserzeichen standardmäßig deaktiviert. Weltweit können API-Kunden es jedoch jetzt für ausgewählte Modelle in ihren Projekt- oder Organisationseinstellungen aktivieren.
Die Einführung erfolgt nach dem Start der Transparenzvorgaben des AI Act im August. Für Krypto sind die Auswirkungen greifbar, da die kriminelle Nutzung von KI laut TRM Labs im Jahresvergleich um 40% gestiegen ist.
Die Lücke zwischen den Anforderungen der Aufsichtsbehörden und den Möglichkeiten der Detektoren wird daher vermutlich großen Einfluss darauf haben, wie jede größere KI-Forschungseinrichtung die Einhaltung der Vorschriften umsetzt.
