Rapport sur la sécurité de la communauté et nouvelles protections pour les adolescents

ChatGPT est l’un des produits d’IA les plus utilisés au monde, et nous avons investi dans la mise au point de certains des systèmes les plus avancés du secteur pour détecter les préjudices potentiels, examiner les activités préoccupantes et signaler les menaces crédibles aux autorités compétentes. Nous faisons deux annonces pour faire avancer notre travail dans ce domaine : un nouveau rapport sur les mesures de protection de la communauté et des restrictions supplémentaires sur le contenu lié aux armes à feu pour les mineurs.

Assurer la sécurité des communautés⁠ demeure une priorité absolue pour OpenAI. Notre travail consiste notamment à signaler aux forces de l’ordre les menaces imminentes de violence, et nous leur avons transmis plus de 200 signalements au cours du troisième trimestre de 2026. Ces signalements ont un effet positif⁠(s'ouvre dans une nouvelle fenêtre) concret⁠(s'ouvre dans une nouvelle fenêtre) sur la mise en échec de complots violents, et nous continuons de faire appel à des spécialistes de la santé mentale et du comportement pour nous aider à évaluer les cas difficiles.

Nous reconnaissons que les entreprises d’IA ont un rôle distinct à jouer aux côtés des forces de l’ordre, des familles, des professionnels de la santé mentale et des décideurs publics, qui apportent une autorité, un contexte et une capacité d’action essentiels dans le monde réel. Nous nous engageons à tirer le meilleur parti de ce rôle en renforçant continuellement nos systèmes, en partageant ce que nous apprenons et en travaillant directement avec les personnes les mieux placées pour agir dans le monde réel.

Nous renforçons constamment les mesures que nous prenons pour contribuer à protéger les personnes et les communautés. Cela signifie mettre en place des protections solides, tout en faisant preuve de transparence quant à leur efficacité et à ce que nous faisons pour les améliorer. Nous voulons donner aux gens une idée claire de notre approche, de la façon dont nos modèles détectent les comportements nuisibles et y répondent, des risques que nous observons en pratique et des mesures que nous prenons pour y remédier.

Nous nous engageons à publier le Rapport sur la sécurité des communautés, qui portera sur la prévention de la violence et d’autres enjeux liés à la sécurité communautaire ainsi que sur l’efficacité de nos mesures de protection. Le rapport expliquera comment nous entraînons nos systèmes à détecter les problèmes liés à la sécurité des communautés, à les examiner et à y répondre. Nous présenterons des exemples anonymisés de la façon dont se manifestent les préjudices liés à la violence et de ce que nous apprenons, mettrons en lumière les nouvelles mesures d’atténuation et les changements apportés aux politiques, et inclurons les données pertinentes à l’appui de ces conclusions.

Nous publierons notre premier rapport au début de 2027, portant sur le deuxième semestre de 2026, avec des mises à jour tous les six mois par la suite. Nous nous engageons à communiquer des conclusions importantes sur la manière dont nous repérons, examinons et intervenons à l’égard des contenus potentiellement préjudiciables.

Nos modèles sont entraînés à ne pas donner d’instructions qui aideraient quelqu’un à planifier ou à commettre des actes de violence. Nous imposons maintenant des restrictions supplémentaires à la façon dont ChatGPT répond aux questions sur les attaques de masse passées et leurs auteurs. Le modèle fournira moins de détails sur ces sujets, même si ces renseignements sont accessibles ailleurs en ligne. Les gens devraient pouvoir demander à ChatGPT de les aider à comprendre ces événements et leurs répercussions sur les victimes et les communautés, ainsi qu’à reconnaître les signes avant-coureurs et à prévenir de futurs actes de violence. Nous renforçons toutefois nos politiques pour limiter les reconstitutions d’attaques de masse passées, notamment les détails sur les armes et l’équipement utilisés et la façon dont ils ont été obtenus, ainsi que les comparaisons détaillées de l’ampleur des préjudices qui pourraient accroître la notoriété d’un assaillant. Ces limites s’appliquent quels que soient l’âge de l’utilisateur et la raison de sa demande.

Parfois, une demande qui semble ordinaire en soi prend un autre sens à la lumière d’une conversation antérieure. En mai, nous avons expliqué comment ChatGPT peut utiliser de courts résumés factuels⁠ de signes avant-coureurs antérieurs pour répondre avec plus de prudence dans une conversation ultérieure. Nous poursuivons ce travail pour que, lorsque des conversations récentes présentent des signes avant-coureurs de violence possible, ChatGPT fasse preuve de plus de prudence en partageant des renseignements qui pourraient être utilisés à mauvais escient. Nous travaillons aussi à appliquer ces limites plus strictes lorsque nous estimons qu’une personne a moins de 18 ans, même si ses conversations ne montrent aucun signe d’intention violente.

Nous désactivons les comptes que nous jugeons avoir enfreint nos politiques sur les activités violentes⁠. Nous travaillons également avec des spécialistes de la santé mentale et de la prévention de la violence à la mise au point de moyens automatisés supplémentaires pour intervenir plus tôt. Lorsqu’une conversation montre des signes qu’une personne fait une fixation sur la violence ou sur l’idée de blesser gravement quelqu’un, ChatGPT pourra automatiquement mettre fin à la conversation pour interrompre ce comportement sur le moment. Si ChatGPT met fin à plusieurs conversations pour cette raison, nous pourrons suspendre temporairement le compte. Il s’agit d’un effort continu, et nous continuons de renforcer les mesures de protection techniques et pratiques et d’y investir, notamment pour reconnaître les signes avant-coureurs de façon fiable et déterminer quand et comment intervenir.

ChatGPT pour les ados⁠ applique des mesures de protection adaptées à l’âge des utilisateurs de moins de 18 ans, avec des protections renforcées et des limites supplémentaires pour réduire leur exposition aux contenus sensibles. Nous limitons désormais davantage les renseignements sur les armes auxquels les adolescents peuvent accéder, même si une question semble inoffensive. 

Nos politiques interdisent déjà d’aider quiconque à planifier ou à commettre des actes de violence et limitent l’aide qu’on peut apporter aux adolescents pour trouver ou obtenir des armes. Nous étendons ces protections afin de restreindre l’accès aux renseignements pratiques sur les armes et les systèmes de sécurité qui pourraient être utilisés à mauvais escient pour faciliter la violence, même en l’absence de signe d’intention violente. Les adolescents peuvent toujours utiliser ChatGPT pour aider à prévenir la violence et à désamorcer les situations violentes, chercher du soutien et entrer en contact avec un adulte de confiance. 

L’an dernier, nous avons lancé la prédiction de l’âge⁠, qui analyse plusieurs signaux, comme les comportements, pour estimer si un utilisateur a moins ou plus de 18 ans. Nous avons renforcé notre système de prédiction de l’âge afin qu’il évalue continuellement de nouveaux signaux à mesure que les gens utilisent ChatGPT et fasse passer les adolescents à l’expérience pour les moins de 18 ans lorsque c’est approprié. Les utilisateurs placés par erreur dans l’expérience pour les moins de 18 ans auront toujours un moyen rapide et respectueux de leur vie privée de confirmer qu’ils sont adultes et de faire retirer les protections supplémentaires destinées aux adolescents par l’entremise de Persona, notre partenaire de vérification de l’âge. 

Notre contrôle parental⁠ permet aux parents de lier leur compte ChatGPT à celui de leur adolescent et de gérer ensemble les paramètres de sécurité. Les comptes liés comprennent des alertes de sécurité⁠ qui peuvent être envoyées lorsque des évaluateurs spécialement formés détectent un risque grave d’automutilation et des comportements pouvant être associés à des troubles alimentaires. En juillet, nous avons élargi la portée de ces alertes pour informer les parents si le compte de leur adolescent a été désactivé pour avoir enfreint nos politiques d’utilisation concernant la violence. Nous travaillons à mettre en place des notifications à l’intention des parents si nous suspendons temporairement le compte de leur adolescent parce qu’il aborde la violence à répétition, comme il est indiqué ci-dessus.

Les actes de violence dans le monde réel sont bouleversants et complexes, et de nombreux facteurs y contribuent. Ils nous rappellent aussi cruellement que nous devons continuer à concevoir et à améliorer nos systèmes en tenant compte des réalités intrinsèquement complexes du comportement humain. La mise au point de mesures de protection efficaces contre la violence dans les systèmes d’IA exige de relever de nouveaux défis liés à la reconnaissance des risques et à la façon d’y répondre adéquatement. Nous continuerons d’investir dans ces mesures, de les améliorer et de partager les enseignements tirés sur la meilleure façon de mettre en œuvre les protections que nous cherchons à déployer. Le déploiement des mesures de protection décrites ici commencera au cours des prochaines semaines, et nous continuerons de les peaufiner. Nous restons déterminés à atténuer les risques de préjudice dans ChatGPT, à renforcer nos multiples niveaux de protection, à surveiller les utilisations abusives, à faire respecter nos règles et à faire appel à des ressources et à des interventions dans le monde réel lorsque la situation l’exige.