Rapport sur la sécurité de la communauté et nouvelles protections pour les adolescents

ChatGPT est l’un des produits d’IA les plus utilisés au monde, et nous avons investi dans la création de certains des systèmes les plus avancés du secteur pour détecter les risques de préjudice, examiner les activités préoccupantes et signaler les menaces crédibles aux instances compétentes. Nous faisons deux annonces pour poursuivre nos efforts dans ce domaine : un nouveau rapport sur les mesures de protection de la communauté et des restrictions supplémentaires concernant les contenus liés aux armes à feu pour les mineurs.

La sécurité des communautés⁠ reste une priorité absolue pour OpenAI. Notre travail consiste notamment à porter les menaces imminentes de violence à l’attention des forces de l’ordre, et nous avons effectué plus de 200 signalements auprès des forces de l’ordre au troisième trimestre 2026. Ces signalements contribuent⁠(ouverture dans une nouvelle fenêtre) concrètement à déjouer⁠(ouverture dans une nouvelle fenêtre) des complots violents, et nous continuons de nous appuyer sur des experts en santé mentale et en comportement pour nous aider à évaluer les cas difficiles.

Nous reconnaissons que les entreprises d’IA ont un rôle spécifique à jouer aux côtés des forces de l’ordre, des membres de la famille, des professionnels de la santé mentale et des décideurs publics, qui disposent d’une autorité, d’une connaissance du contexte et d’une capacité d’action sur le terrain essentielles. Nous nous engageons à tirer le meilleur parti de ce rôle en renforçant continuellement nos systèmes, en partageant les enseignements tirés et en travaillant directement avec les acteurs les mieux placés pour agir dans le monde réel.

Nous renforçons constamment les mesures que nous prenons pour contribuer à protéger les personnes et les communautés. Cela implique de mettre en place des protections solides, mais aussi de faire preuve de transparence quant à leur efficacité et aux mesures que nous prenons pour les renforcer. Nous voulons donner à chacun une vision claire de notre approche, de la manière dont nos modèles identifient les comportements nuisibles et y répondent, des risques que nous observons en pratique et des mesures que nous prenons pour y remédier.

Nous nous engageons à publier le Rapport sur la sécurité de la communauté, consacré à la prévention de la violence et aux autres enjeux de sécurité de la communauté, ainsi qu’à l’efficacité de nos mesures de protection. Ce rapport expliquera comment nous entraînons nos systèmes à détecter les problèmes de sécurité de la communauté, à les examiner et à y répondre. Nous partagerons des exemples anonymisés montrant comment les préjudices liés à la violence se manifestent et ce que nous en apprenons. Nous mettrons également en lumière les nouvelles mesures d’atténuation et les modifications de nos politiques, et inclurons des données pertinentes pour étayer ces constats.

Nous publierons notre premier rapport début 2027, consacré au second semestre 2026, puis nous publierons des mises à jour tous les six mois. Nous nous engageons à partager des conclusions pertinentes sur la manière dont nous identifions, examinons et traitons les contenus potentiellement préjudiciables.

Nos modèles sont entraînés à ne pas fournir d’instructions qui aideraient quelqu’un à planifier ou à commettre des actes de violence. Nous imposons désormais des restrictions supplémentaires à la manière dont ChatGPT répond aux questions sur les attaques de masse commises par le passé et leurs auteurs, en demandant au modèle de fournir moins d’informations détaillées sur ces sujets, même si elles sont disponibles auprès d’autres sources en ligne. Chacun doit pouvoir demander à ChatGPT de l’aider à comprendre ces événements et leurs répercussions sur les victimes et les communautés, ainsi qu’à reconnaître les signes avant-coureurs et à prévenir de futures violences. Nous renforçons toutefois nos politiques afin de restreindre les reconstitutions d’attaques de masse commises par le passé, notamment les détails sur les armes et le matériel utilisés et leur mode d’acquisition, ainsi que les comparaisons détaillées de l’ampleur des dommages susceptibles d’amplifier la notoriété d’un assaillant. Ces limites s’appliquent quels que soient l’âge de l’utilisateur et le motif de sa demande.

Parfois, une demande qui semble ordinaire prise isolément revêt un autre sens à la lumière d’une conversation antérieure. En mai, nous avons expliqué comment ChatGPT peut utiliser de courts résumés factuels⁠ de signes avant-coureurs antérieurs pour répondre avec davantage de prudence lors d’une conversation ultérieure. Nous poursuivons ces travaux pour que, lorsque des conversations récentes présentent des signes avant-coureurs de violence potentielle, ChatGPT fasse preuve de plus de retenue dans le partage d’informations susceptibles d’être détournées. Nous travaillons également à appliquer ces limites plus strictes lorsque nous estimons qu’une personne a moins de 18 ans, même si ses conversations ne présentent aucun signe d’intention violente.

Nous désactivons les comptes dont nous déterminons qu’ils ont enfreint nos politiques relatives aux activités violentes⁠. Nous travaillons également avec des spécialistes de la santé mentale et de la prévention de la violence afin de trouver d’autres moyens automatisés d’intervenir plus tôt. Lorsqu’une conversation révèle qu’une personne fait une fixation sur la violence ou sur l’idée de blesser gravement quelqu’un, ChatGPT pourra automatiquement mettre fin à la conversation afin d’interrompre cette dynamique sur le moment. Si ChatGPT met fin à plusieurs conversations pour cette raison, nous pourrons suspendre temporairement le compte. Ce travail se poursuit et nous continuons à renforcer les protections techniques et pratiques et à investir dans leur développement, notamment pour reconnaître de manière fiable les signes avant-coureurs et déterminer quand et comment intervenir.

ChatGPT pour les adolescents⁠ applique des mesures de protection adaptées à l’âge des utilisateurs de moins de 18 ans, avec des protections renforcées et des limites supplémentaires pour réduire leur exposition aux contenus sensibles. Nous limitons désormais davantage les informations sur les armes auxquelles les adolescents peuvent avoir accès, même lorsqu’une question semble inoffensive. 

Nos politiques interdisent déjà d’aider quiconque à planifier ou à commettre des actes de violence et limitent l’aide apportée aux adolescents pour trouver ou obtenir des armes. Nous étendons ces protections afin de limiter l’accès aux informations pratiques sur les armes et les systèmes de sécurité qui pourraient être détournées pour faciliter la violence, même en l’absence de signe d’intention violente. Les adolescents peuvent toujours utiliser ChatGPT pour contribuer à prévenir la violence et à désamorcer les situations violentes, demander de l’aide et entrer en contact avec un adulte de confiance. 

L’an dernier, nous avons lancé la prédiction de l’âge⁠, qui analyse plusieurs signaux, comme les habitudes comportementales, pour estimer si un utilisateur a moins ou plus de 18 ans. Nous avons renforcé notre système de prédiction de l’âge afin d’évaluer en continu de nouveaux signaux au fil de l’utilisation de ChatGPT et de faire passer les adolescents à l’expérience destinée aux moins de 18 ans lorsque cela est approprié. Les utilisateurs placés par erreur dans l’expérience destinée aux moins de 18 ans disposeront toujours d’un moyen rapide et respectueux de la vie privée pour confirmer qu’ils sont adultes et désactiver les protections supplémentaires destinées aux adolescents, par l’intermédiaire de Persona, notre partenaire de vérification de l’âge. 

Notre contrôle parental⁠ permet aux parents d’associer leur compte ChatGPT à celui de leur adolescent et de gérer ensemble les paramètres de sécurité. Les comptes associés incluent des alertes de sécurité⁠ qui peuvent être envoyées lorsque des examinateurs spécialement formés repèrent un risque grave d’automutilation et des comportements pouvant être associés à des troubles du comportement alimentaire. En juillet, nous avons étendu ces alertes afin d’avertir les parents si le compte de leur adolescent a été désactivé pour violation de nos politiques d’utilisation relatives à la violence. Nous travaillons à la mise en place de notifications destinées aux parents lorsque nous suspendons temporairement le compte de leur adolescent parce qu’il aborde la violence de manière répétée, comme expliqué ci-dessus.

Les actes de violence dans le monde réel sont des événements bouleversants et complexes, auxquels contribuent de nombreux facteurs. Ils rappellent aussi avec force que nous devons continuer à concevoir et à améliorer nos systèmes pour tenir compte des réalités intrinsèquement complexes du comportement humain. Développer des protections efficaces contre la violence dans les systèmes d’IA nécessite de résoudre des problèmes inédits pour reconnaître les risques et y répondre de manière appropriée. Nous continuerons à investir dans ces efforts, à les affiner et à partager les enseignements que nous en tirons afin de déterminer la meilleure façon de mettre en œuvre les protections que nous cherchons à instaurer. Les protections détaillées ici commenceront à être déployées au cours des prochaines semaines et nous continuerons à les améliorer. Nous restons déterminés à atténuer les risques de préjudice dans ChatGPT, à renforcer nos multiples niveaux de protection, à surveiller les usages abusifs, à faire respecter nos règles et à mobiliser des dispositifs de soutien et d’intervention dans le monde réel lorsque la situation l’exige.