コミュニティの安全に関する報告と、18歳未満のユーザー向けの新たな保護策
ChatGPT は世界で最も広く使われている AI 製品の1つです。OpenAI は、危害につながる可能性の検知、懸念される活動の審査、信憑性のある脅威の関係機関などへの報告に向け、業界でも最先端のシステムの構築に投資してきました。この分野での取り組みをさらに進めるため、今回は、新たな「コミュニティの安全対策に関する報告書」の公開と、未成年者向けの銃器関連コンテンツに対する制限の強化という2つの発表を行います。
コミュニティの安全を守ることは、OpenAI にとって引き続き最優先事項です。この取り組みには、差し迫った暴力の脅威を法執行機関に知らせることが含まれており、2026年第3四半期には、法執行機関への通報を200件超行いました。これらの通報は、暴力的な計画の阻止にプラスの（新しいウィンドウで開く）効果（新しいウィンドウで開く）をもたらしており、判断が難しい事例では、引き続きメンタルヘルスや人の行動に詳しい専門家の協力を得ています。
法執行機関、家族、メンタルヘルスの専門家、政策立案者は、重要な権限、背景事情への理解、現実世界で働きかける力を持っています。OpenAI は、AI 企業にも、こうした人々や機関と並んで、独自の役割があると認識しています。その役割を最大限に果たすため、システムを継続的に強化し、得られた知見を共有するとともに、現実世界で行動を起こすのに最も適した立場にある人々や機関と直接連携していきます。
OpenAI は、人々やコミュニティを守るための取り組みを常に強化しています。そのためには、強固な安全対策を構築するだけでなく、その効果や強化に向けた取り組みについて透明性を確保することも必要です。アプローチ全体に加え、モデルが有害な行動をどのように検知し、対応するのか、実際にどのようなリスクが見られるのか、そしてそれらに対してどのような対策を講じているのかを、明確にお伝えしたいと考えています。
OpenAI は、暴力の予防をはじめとするコミュニティの安全に関する問題と、安全対策の有効性について、「コミュニティ安全レポート」を公開することを約束します。このレポートでは、コミュニティの安全に関する問題を検知し、調査し、対応できるよう、システムにどのように学習させているかを説明します。また、暴力に関連する被害がどのように生じるかを示す匿名化した事例と、そこから得られた知見を共有し、新たなリスク軽減策やポリシーの変更を紹介するとともに、これらの知見を裏付ける関連データも掲載します。
OpenAI は、2027年初頭に、2026年下半期を対象とする初のレポートを公開し、その後は6か月ごとに更新します。潜在的に有害なコンテンツをどのように特定し、審査し、対応するかについて、有意義な知見を共有することを約束します。
OpenAI のモデルは、暴力行為の計画や実行を助ける手順を提供しないよう学習しています。今回、OpenAI は、過去の大規模な襲撃事件やその実行犯に関する質問への ChatGPT の回答に追加の制限を設け、他のオンライン情報源で入手できる場合でも、そうした情報の詳細を抑えるようモデルに指示しています。過去の大規模な襲撃事件について、事件そのものや、被害者とコミュニティが受けた影響への理解を深めるために、ChatGPT を活用できることは大切です。また、危険の兆候の見分け方や、今後の暴力を防ぐ方法を学ぶためにも活用できるべきです。一方で、過去の大規模な襲撃事件を詳細に再現する情報の提供を制限するため、ポリシーを強化しています。制限の対象には、使用された武器や装備、その入手方法の詳細が含まれます。また、加害者がさらに注目を集めることにつながりかねない、被害規模の詳細な比較も制限します。これらの制限は、ユーザーの年齢や質問の理由にかかわらず適用されます。
それだけを見るとごく普通の質問や依頼でも、それ以前の会話を踏まえると、違った意味を持つことがあります。OpenAI は5月に、ChatGPT が、以前の会話で見られた危険の兆候を事実に基づいて簡潔にまとめた情報を活用し、後のチャットでより慎重に応答する仕組みについて公表しました。この取り組みをさらに進め、直近のチャットに暴力につながる可能性を示す兆候が見られた場合、悪用されるおそれのある情報の提供を ChatGPT がより慎重に判断するよう、改善を進めています。また、ユーザーが18歳未満と推定される場合には、チャットに暴力的な意図の兆候がなくても、こうした厳しい制限を適用するための取り組みを進めています。
OpenAI は、暴力行為に関するポリシーに違反したと判断したアカウントを利用禁止にしています。また、メンタルヘルスや暴力防止の専門家と連携し、より早期に自動で介入するための新たな方法にも取り組んでいます。会話の中で、ユーザーが暴力や他者に深刻な危害を加える考えに固執している兆候が見られた場合、ChatGPT はチャットを自動的に終了し、その場でこうした流れを断ち切れるようになります。この理由で ChatGPT が複数のチャットを終了した場合、アカウントを一時停止することがあります。これは継続的な取り組みであり、危険の兆候を確実に認識し、介入のタイミングや方法を判断する仕組みを含め、技術面と運用面での保護策の強化と、それに向けた投資を続けています。
ChatGPT for Teens では、18歳未満のユーザーに年齢に応じた安全対策を適用しています。保護の強化と追加の制限により、センシティブなコンテンツに触れる機会を減らします。今回、質問が一見無害に思える場合でも、18歳未満のユーザーが得られる武器関連の情報に、さらに制限を設けます。
OpenAI のポリシーではすでに、暴力の計画や実行を支援することを禁止し、18歳未満のユーザーが武器を探したり入手したりするための支援を制限しています。今回、こうした保護策を拡大し、暴力的な意図が見られない場合でも、暴力行為の実行に悪用されるおそれのある、武器やセキュリティシステムに関する実用的な情報の提供を制限します。18歳未満のユーザーは引き続き ChatGPT を使って、暴力の防止や事態の沈静化に役立てたり、支援を求めたり、信頼できる大人とつながったりすることができます。
OpenAI は昨年、行動パターンなど複数のシグナルを分析し、ユーザーが18歳未満か18歳以上かを推定する年齢推定を導入しました。ユーザーが ChatGPT を利用する中で新たなシグナルを継続的に評価できるよう、年齢推定システムを強化し、適切な場合には18歳未満と推定されるユーザーを18歳未満向けの利用環境に移行します。誤って18歳未満向けの利用環境に振り分けられたユーザーは、年齢確認パートナーの Persona を通じて、いつでも18歳以上であることを確認し、18歳未満向けの追加保護を解除できます。この年齢確認は、プライバシーに配慮した方法で迅速に行えます。
OpenAI のペアレンタルコントロールを使うと、保護者は自分の ChatGPT アカウントを18歳未満の子どものアカウントに連携し、安全設定を一緒に管理できます。連携済みのアカウントでは、専門的な訓練を受けた審査担当者が深刻な自傷リスクや食行動の乱れに関連する可能性のある行動を確認した場合に、安全に関する通知が送信されることがあります。7月には通知の対象を拡大し、暴力に関する利用ポリシーへの違反で18歳未満の子どものアカウントが無効化された場合にも、保護者に通知するようにしました。さらに、前述の仕組みにより、暴力への固執などを理由にチャットが繰り返し自動終了され、アカウントが一時停止された場合にも、保護者へ通知できるよう取り組んでいます。
現実世界で起こる暴力行為は、胸の痛む出来事であり、多くの要因が絡み合う複雑な問題です。同時に、人間の行動が本質的に複雑であるという現実を踏まえ、システムの設計と改善を続けなければならないことを、厳しく突きつけるものでもあります。AI システムにおける効果的な暴力防止策を開発するには、リスクを認識し、適切に対応するうえで新たな課題を解決する必要があります。OpenAI は、目指す保護策を最善の形で実装できるよう、引き続き投資と改善を重ね、その過程で得られた知見を発信していきます。 ここで詳しく説明する安全対策は、今後数週間のうちに順次導入を開始し、引き続き改善していきます。引き続き、ChatGPT における危害のリスクの軽減、多層的な保護策の強化、不正利用の監視、ルールの厳格な適用に取り組み、状況に応じて現実世界での支援や介入につなげていきます。
