OpenAI

2026年10月30日

安全

社群安全報告與青少年新保護措施

ChatGPT 是全球使用最廣泛的 AI 產品之一。我們已投入資源,打造業界最先進的系統之一,用來偵測潛在傷害、審查令人擔憂的活動,並將可信的威脅升級處理。為了進一步推動這方面的工作,我們宣布兩項措施:推出新的《社群安全防護報告》,以及進一步限制未成年人接觸槍械相關內容。

維護社群安全⁠一直是 OpenAI 的首要任務。我們的工作包括將迫在眉睫的暴力威脅通報給執法機關,並在 2026 年第三季向執法機關通報超過 200 起案件。這些通報在阻止暴力計畫方面帶來正面⁠(在新視窗中開啟)影響⁠(在新視窗中開啟),我們也持續仰賴心理健康與行為專家協助評估棘手個案。

我們深知,AI 公司在這方面扮演獨特角色,需要與執法機關、家人、心理健康專業人員及政策制定者攜手合作;他們具備關鍵的職權、對背景脈絡的了解,以及在現實世界中採取行動的能力。我們致力於充分發揮 AI 公司的作用,持續強化系統、分享從實務中學到的經驗,並與最能在現實世界中採取行動的人員直接合作。

OpenAI 的社群安全報告

我們持續強化各項措施,協助保護個人與社群。除了建立完善的防護措施,我們也要公開說明這些措施的成效,以及正在採取哪些行動來進一步強化防護。我們希望讓大家清楚了解我們的做法、模型如何辨識及回應有害行為、實際使用中觀察到的風險,以及我們採取的因應措施。

我們承諾推出《社群安全報告》,探討暴力預防及其他社群安全議題,以及我們的防護措施成效。報告將說明我們如何訓練系統偵測、調查並回應社群安全議題。我們會透過匿名案例,說明暴力相關傷害的具體樣態,並分享從中學到的經驗;也會介紹新的風險緩解措施和政策變更,並提供相關資料佐證這些發現。

我們將於 2027 年初發布首份報告,內容涵蓋 2026 年下半年,之後每六個月更新一次。我們承諾分享有意義的調查結果,說明我們如何辨識、審查並回應可能造成傷害的內容。

為所有使用者設立更嚴格的政策界線

我們的模型經過訓練,不會提供有助於策劃或實施暴力的指示。現在,針對過往大規模攻擊事件及加害者的相關問題,我們正進一步限制 ChatGPT 的回答,指示模型減少提供這些方面的詳細資訊,即使這些資訊可從其他網路來源取得也一樣。人們應該能請 ChatGPT 協助了解這些事件、受害者與社群受到的影響,以及如何辨識警訊、預防未來的暴力事件。不過,我們正收緊政策,限制提供重建過往大規模攻擊事件過程的資訊,包括使用了哪些武器和裝備,以及如何取得這些物品。我們也會限制詳細比較各起攻擊造成的傷害規模,避免讓加害者因暴行而更加出名。無論使用者的年齡或提問原因為何,這些限制都適用。

回應警訊

有時,單看一項請求似乎很平常,但若結合先前的對話來看,就會有不同的意義。我們在 5 月分享了 ChatGPT 如何運用簡短、依據事實的摘要⁠記錄先前出現的警訊,讓後續對話的回應更謹慎。我們正持續改進這項功能,讓 ChatGPT 在近期對話出現潛在暴力警訊時,更審慎地提供可能遭到濫用的資訊。我們也正推動讓系統在預測使用者未滿 18 歲時,採用同樣嚴格的限制,即使對話中沒有暴力意圖的跡象也一樣。

我們會停用經判定違反暴力活動相關政策⁠的帳戶。我們也正與心理健康及暴力預防專家合作,探討其他能及早介入的自動化方法。當對話顯示使用者可能執著於暴力,或一再想著嚴重傷害他人時,ChatGPT 將能自動結束對話,即時中斷這種模式。如果 ChatGPT 因此多次結束對話,我們可能會暫停帳戶。這項工作仍在進行中,我們會持續投入資源,強化技術面與實務面的保護措施,包括如何可靠地辨識警訊,以及判斷何時及如何介入。

為青少年提供更多保護

ChatGPT 青少年版⁠會為未滿 18 歲的使用者採取適齡防護措施,透過更嚴格的保護與額外限制,減少他們接觸敏感內容的機會。現在,即使問題看似無害,我們也會進一步限制青少年可取得的武器相關資訊。 

我們的政策早已禁止協助任何人策劃或實施暴力行為,也限制協助青少年尋找或取得武器。我們將擴大這些保護措施,限制提供關於武器及安全系統、可能遭濫用來協助實施暴力的實用資訊,即使沒有暴力意圖的跡象也一樣。青少年仍可使用 ChatGPT 協助預防暴力、緩和暴力情勢、尋求支持,並聯繫值得信任的成年人。 

我們去年推出了年齡預測⁠功能,透過分析行為模式等多項訊號,推估使用者是否已滿 18 歲。我們強化了年齡預測系統,讓系統能在使用者使用 ChatGPT 時持續評估新的訊號,並在適當情況下將青少年移至未滿 18 歲的使用體驗。若使用者被誤判而進入未滿 18 歲的使用體驗,他們隨時都能透過我們的年齡驗證合作夥伴 Persona,快速確認自己已成年,同時保障隱私,並解除額外的青少年保護措施。 

我們的家長控制⁠功能讓家長能將自己的 ChatGPT 帳戶與青少年子女的帳戶連結,一同管理安全設定。已連結的帳戶包含安全警示⁠功能。當受過專門訓練的審查人員發現嚴重的自傷風險,以及可能與飲食失調有關的行為時,系統可能會發送警示。我們在 7 月擴大了這些警示的適用範圍:若青少年的帳戶因違反使用政策中的暴力相關規定而遭停用,家長就會收到通知。我們目前也正著手推出通知家長的功能:若青少年因上述反覆討論暴力的情況而遭暫停帳戶,系統就會通知家長。

展望未來

現實世界中的暴力事件令人痛心,成因也十分複雜,往往涉及多種因素。這些事件也深刻提醒我們,必須持續設計並反覆改進系統,將人類行為本質上複雜的現實納入考量。在 AI 系統中制定有效的暴力防護措施,需要解決辨識風險並妥善應對方面的新問題;我們也會持續投入、反覆改進,並分享如何以最合適的方式落實這些防護措施的心得。我們將在未來幾週開始推出這些措施,並持續加以完善。我們仍致力於降低 ChatGPT 中造成傷害的風險、加強多層防護、監測濫用情形、落實規範,並在情況需要時尋求現實世界中的支援並採取介入措施。

作者

OpenAI