Bericht zur Sicherheit der Community und neue Schutzmaßnahmen für Jugendliche

ChatGPT ist eines der weltweit meistgenutzten KI-Produkte, und wir haben in die Entwicklung einiger der fortschrittlichsten Systeme der Branche investiert, um potenzielle Gefahren zu erkennen, bedenkliche Aktivitäten zu prüfen und glaubhafte Bedrohungen weiterzuleiten. Um unsere Arbeit in diesem Bereich voranzubringen, kündigen wir zwei Neuerungen an: einen neuen Bericht zu Schutzmaßnahmen für die Community und weitere Einschränkungen beim Zugriff Minderjähriger auf Inhalte zu Schusswaffen.

Für die Sicherheit der Bevölkerung zu sorgen⁠, hat für OpenAI weiterhin höchste Priorität. Unsere Arbeit umfasst, unmittelbarer Gewaltandrohungen den Strafverfolgungsbehörden zu melden, und im 3. Quartal 2026 haben wir mehr als 200 Fälle an Strafverfolgungsbehörden weitergeleitet. Diese Weiterleitungen leisten einen positiven⁠(wird in einem neuen Fenster geöffnet) Beitrag⁠(wird in einem neuen Fenster geöffnet) dazu, geplante Gewalttaten zu vereiteln, und wir verlassen uns weiterhin auf Fachkräfte für psychische Gesundheit und Verhaltenswissenschaften, die uns bei der Einschätzung schwieriger Fälle helfen.

Wir wissen, dass KI-Unternehmen eine eigene Rolle spielen: an der Seite von Strafverfolgungsbehörden, Familienangehörigen, Fachkräften für psychische Gesundheit und politisch Verantwortlichen. Diese haben entscheidende Befugnisse, Kontextwissen und Handlungsmöglichkeiten vor Ort. Wir wollen unsere Rolle bestmöglich ausfüllen, indem wir unsere Systeme kontinuierlich verbessern, unsere Erkenntnisse teilen und direkt mit denjenigen zusammenarbeiten, die in der realen Welt am besten handeln können.

Wir verstärken kontinuierlich unsere Maßnahmen zum Schutz von Menschen und Gemeinschaften. Das bedeutet, wirksame Schutzmaßnahmen aufzubauen und transparent darüber zu informieren, wie gut sie funktionieren und was wir tun, um sie weiter zu verbessern. Wir möchten Menschen ein klares Bild davon vermitteln, wie wir vorgehen, wie unsere Modelle schädliches Verhalten erkennen und darauf reagieren, welche Risiken wir in der Praxis beobachten und welche Schritte wir unternehmen, um ihnen zu begegnen.

Wir verpflichten uns, den Bericht zur Sicherheit der Community zu veröffentlichen, der sich mit der Prävention von Gewalt und anderen Fragen der Community-Sicherheit sowie mit der Wirksamkeit unserer Schutzmaßnahmen befasst. Der Bericht erklärt, wie wir unsere Systeme darauf trainieren, Fragen der Community-Sicherheit zu erkennen, zu untersuchen und darauf zu reagieren. Wir teilen anonymisierte Beispiele dafür, wie sich gewaltbezogene Bedrohungen äußern und was wir daraus lernen, heben neue Maßnahmen zur Risikominderung und Änderungen an Richtlinien hervor und nehmen relevante Daten auf, die diese Erkenntnisse stützen.

Wir werden unseren ersten Bericht Anfang 2027 veröffentlichen. Er umfasst die zweite Hälfte des Jahres 2026; anschließend folgen alle sechs Monate Aktualisierungen. Wir verpflichten uns, aussagekräftige Erkenntnisse darüber zu teilen, wie wir potenziell schädliche Inhalte identifizieren, prüfen und darauf reagieren.

Unsere Modelle sind darauf trainiert, keine Anleitungen zu geben, die jemandem helfen würden, Gewalttaten zu planen oder auszuüben. Wir schränken jetzt zusätzlich ein, wie ChatGPT Fragen zu vergangenen Massenangriffen und den dafür verantwortlichen Personen beantwortet. Das Modell soll dazu weniger detaillierte Informationen liefern, selbst wenn diese aus anderen Onlinequellen verfügbar sind. Menschen sollen ChatGPT um Hilfe bitten können, um diese Ereignisse und ihre Folgen für die Opfer und die betroffene Bevölkerung zu verstehen. Sie sollen auch erfahren können, wie sich Warnsignale erkennen und künftige Gewalttaten verhindern lassen. Wir verschärfen jedoch unsere Richtlinien, um Rekonstruktionen vergangener Massenangriffe einzuschränken, einschließlich Details zu den verwendeten Waffen und Ausrüstungsgegenständen und dazu, wie diese beschafft wurden, sowie detaillierte Vergleiche zum Ausmaß des Unheils, die den Bekanntheitsgrad eines Angreifers bzw. einer Angreiferin steigern könnten. Diese Einschränkungen gelten unabhängig vom Alter der fragenden Person oder dem Grund für ihre Frage.

Manchmal erhält eine Anfrage, die für sich genommen unauffällig wirkt, im Kontext eines früheren Gesprächs eine andere Bedeutung. Im Mai haben wir erläutert, wie ChatGPT kurze, sachliche Zusammenfassungen nutzen kann⁠, die frühere Warnsignale festhalten, um in einem späteren Chat vorsichtiger zu reagieren. Wir entwickeln diesen Ansatz weiter: Wenn kürzlich geführte Chats Warnsignale für mögliche Gewalt zeigen, wird ChatGPT Informationen, die missbraucht werden könnten, konservativer behandeln. Wir arbeiten außerdem daran, diese strengeren Einschränkungen anzuwenden, wenn wir eine Person als unter 18 einschätzen, selbst wenn ihre Chats keine Anzeichen für Gewaltabsichten zeigen.

Wir sperren Konten, bei denen wir feststellen, dass sie gegen unsere Richtlinien zu gewalttätigen Aktivitäten⁠ verstoßen haben. Außerdem arbeiten wir mit Fachkräften für psychische Gesundheit und Gewaltprävention an zusätzlichen automatisierten Möglichkeiten, früher einzugreifen. Wenn ein Gespräch Anzeichen dafür zeigt, dass sich jemand auf Gewalt oder die Vorstellung fixiert, einer anderen Person ernsthaft Schaden zuzufügen, wird ChatGPT den Chat automatisch beenden können, um dieses Muster unmittelbar zu unterbrechen. Wenn ChatGPT aus diesem Grund mehrere Chats beendet, können wir das Konto vorübergehend sperren. Diese Arbeit läuft weiter, und wir entwickeln und investieren fortlaufend in technische und praktische Schutzmaßnahmen. Dazu gehört auch, zuverlässig Warnsignale zu erkennen und zu bestimmen, wann und wie wir eingreifen.

ChatGPT für Teens⁠ bietet altersgerechte Schutzmaßnahmen für Personen unter 18 Jahren. Verstärkter Schutz und zusätzliche Einschränkungen sollen den Kontakt mit sensiblen Inhalten verringern. Wir schränken nun die Jugendlichen gelieferten Informationen über Waffen weiter ein, selbst wenn eine Frage harmlos erscheint. 

Unsere Richtlinien verbieten bereits, Menschen dabei zu helfen, Gewalttaten zu planen oder auszuüben, und schränken es ein, Teenagern dabei zu helfen, Waffen zu finden oder zu beschaffen. Wir erweitern diesen Schutz und schränken praktische Informationen über Waffen und Sicherheitssysteme ein, die missbraucht werden könnten, um Gewalttaten zu ermöglichen – auch wenn es keine Anzeichen für eine Gewaltabsicht gibt. Teenager können ChatGPT weiterhin nutzen, um zu helfen, Gewalttaten zu verhindern und zu deeskalieren, Unterstützung zu suchen und sich mit einer vertrauenswürdigen erwachsenen Person in Verbindung zu setzen. 

Im vergangenen Jahr haben wir die Altersschätzung⁠ eingeführt. Sie analysiert mehrere Signale wie Verhaltensmuster, um einzuschätzen, ob eine Person unter oder über 18 Jahre alt sein könnte. Wir haben unser System zur Altersschätzung weiter verbessert, damit es neue Signale kontinuierlich bewertet, während Menschen ChatGPT nutzen, und Jugendliche bei Bedarf der Nutzung mit Jugendschutz zuordnet. Nutzer:innen, die fälschlicherweise der Nutzung mit Jugendschutz zugeordnet werden, haben jederzeit eine schnelle, datenschutzfreundliche Möglichkeit, über Persona, unseren Partner für die Altersverifizierung, ihre Volljährigkeit zu bestätigen und die zusätzlichen Schutzmaßnahmen für Jugendliche aufheben zu lassen. 

Mit unserer Elternaufsicht⁠ können Eltern ihre ChatGPT‑Konten mit denen ihrer jugendlichen Kinder verknüpfen und gemeinsam Sicherheitseinstellungen verwalten. Für verknüpfte Konten gibt es Sicherheitsbenachrichtigungen⁠, die versendet werden können, wenn speziell geschulte Prüfkräfte eine ernsthafte Gefahr der Selbstverletzung und Verhaltensweisen erkennen, die mit gestörtem Essverhalten zusammenhängen könnten. Im Juli haben wir diese Benachrichtigungen erweitert: Eltern werden nun auch informiert, wenn das Konto ihres jugendlichen Kindes wegen eines Verstoßes gegen unsere Nutzungsrichtlinien zu Gewalt deaktiviert wurde. Wir arbeiten daran, Eltern zu benachrichtigen, wenn wir das Konto ihres jugendlichen Kindes vorübergehend sperren, weil es wiederholt über Gewalt spricht, wie oben beschrieben.

Gewalttaten in der realen Welt sind erschütternd und komplex. Viele Faktoren tragen dazu bei. Sie führen uns auch deutlich vor Augen, dass wir unsere Systeme weiter gestalten und verbessern müssen, um der Vielschichtigkeit menschlichen Verhaltens gerecht zu werden. Die Entwicklung wirksamer Schutzmaßnahmen gegen Gewalt in KI-Systemen erfordert, neue Probleme bei der Erkennung von Risiken und angemessenen Reaktionen zu lösen. Wir werden weiterhin in die Entwicklung solcher Maßnahmen investieren, sie verbessern und Erkenntnisse darüber teilen, wie sich die von uns angestrebten Schutzmaßnahmen am besten umsetzen lassen. Die hier beschriebenen Schutzmaßnahmen werden in den nächsten Wochen eingeführt und von uns fortlaufend verbessert. Wir setzen uns weiterhin dafür ein, das Risiko zu mindern, dass Menschen durch ChatGPT zu Schaden kommen, unsere mehrstufigen Schutzmaßnahmen zu stärken, Missbrauch zu erkennen und unsere Regeln durchzusetzen. Wenn die Situation es erfordert, beziehen wir auch Unterstützung und Interventionen außerhalb von ChatGPT ein.