지역 사회 안전 보고서 및 청소년을 위한 새로운 보호 조치

ChatGPT는 세계에서 가장 널리 사용되는 AI 제품 중 하나입니다. OpenAI는 잠재적 피해를 감지하고 우려되는 활동을 검토하며 실질적인 위협을 관련 담당자나 기관에 전달하는 업계 최고 수준의 첨단 시스템을 구축하는 데 투자해 왔습니다. 이 분야의 노력에 더욱 힘을 싣기 위해, 새로운 지역 사회 안전장치 보고서와 미성년자 대상 총기 콘텐츠 제한 강화라는 두 가지 사항을 발표합니다.

지역 사회의 안전을 지키는 일⁠은 OpenAI의 최우선 과제 중 하나입니다. 이러한 노력의 일환으로 임박한 폭력 위협을 법 집행 기관에 알리고 있으며 2026년 3분기에는 200건이 넘는 신고를 접수했습니다. 이러한 신고는 폭력 계획을 저지하는 데 긍정적인⁠(새 창에서 열기) 영향⁠(새 창에서 열기)을 미치고 있으며, 복잡한 사례를 평가하기 위해 정신 건강 및 행동 전문가의 도움을 계속 받고 있습니다.

AI 기업은 법 집행 기관, 가족 구성원, 정신 건강 전문가, 정책 입안자와 함께 고유한 역할을 수행해야 한다고 생각합니다. 이들은 대응에 필요한 권한과 상황에 대한 이해, 현실에서 행동할 수 있는 역량을 갖추고 있습니다. 시스템을 지속적으로 강화하고, 그 과정에서 얻은 교훈을 공유하며, 현실에서 가장 효과적으로 대응할 수 있는 주체들과 직접 협력해 그 역할을 충실히 수행하겠습니다.

OpenAI는 사람들과 지역 사회를 보호하기 위한 조치를 끊임없이 강화하고 있습니다. 여기에는 강력한 안전장치를 구축하는 것뿐 아니라, 그 효과와 이를 강화하기 위한 노력을 투명하게 공개하는 일도 포함됩니다. 모델이 유해한 행동을 어떻게 식별하고 대응하는지, 실제 사용 과정에서 어떤 위험이 나타나는지, 이를 해결하기 위해 어떤 조치를 취하는지 명확하게 알리고자 합니다

폭력 예방 및 기타 지역 사회 안전 문제, 보호 조치의 효과를 다루는 지역 사회 안전 보고서를 발표할 것을 약속합니다. 보고서에서는 지역 사회의 안전 문제를 감지하고 조사하고 대응하도록 시스템을 어떻게 훈련하는지 설명합니다. 폭력과 관련된 피해가 어떤 형태로 나타나는지 보여 주는 익명화된 사례와 이를 통해 얻은 교훈을 공유하고, 새로운 위험 완화 조치와 정책 변화를 강조하며, 이러한 내용을 뒷받침하는 관련 데이터도 포함합니다.

2027년 초에 2026년 하반기를 다루는 첫 보고서를 발표하고, 이후 6개월마다 업데이트할 예정입니다. 잠재적으로 유해한 콘텐츠를 식별하고 검토하고 대응하는 방식에 관한 유의미한 결과를 공유하기 위해 최선을 다하겠습니다.

OpenAI의 모델은 폭력을 계획하거나 실행하는 데 도움이 되는 지침을 제공하지 않도록 학습되었습니다. 이제 과거의 대규모 공격 사건과 그 가해자에 관한 질문에 ChatGPT가 답변하는 방식에도 추가적인 제한을 적용하고 있습니다. 다른 온라인 출처에서 찾을 수 있는 정보라도 해당 주제에 관해 모델이 제공하는 세부 정보를 줄이도록 하고 있습니다. 사람들은 ChatGPT를 통해 이러한 사건과 피해자 및 지역 사회가 받은 영향을 이해하고, 위험 신호를 알아보는 방법과 앞으로의 폭력을 예방하는 방법을 배울 수 있어야 합니다. 다만 과거의 대규모 공격 사건을 재구성하는 것은 제한하도록 정책을 강화하고 있습니다. 제한 대상에는 사용된 무기와 장비 및 이를 입수한 방법에 관한 세부 정보, 그리고 가해자의 악명을 키울 수 있는 피해 규모에 대한 상세한 비교도 포함됩니다. 이러한 제한은 사용자의 나이나 질문 이유와 관계없이 적용됩니다.

그 자체로는 평범해 보이는 요청도 이전 대화의 맥락을 고려하면 다른 의미를 지닐 수 있습니다. 지난 5월에는 ChatGPT가 간결하고 사실에 기반한 요약을 활용⁠해 이전에 나타난 위험 신호를 참고하고, 이후의 채팅에서 더 신중하게 대응할 수 있는 방법을 소개했습니다. 이를 바탕으로 최근 채팅에서 폭력 가능성을 시사하는 위험 신호가 나타나면, ChatGPT가 오용될 수 있는 정보를 제공할 때 더욱 보수적으로 대응하도록 개선하고 있습니다. 또한 사용자가 만 18세 미만으로 추정되는 경우, 채팅에 폭력적 의도가 드러나지 않더라도 이처럼 강화된 제한을 적용하기 위해 노력하고 있습니다.

폭력 행위 관련 정책⁠을 위반한 것으로 판단되는 계정은 이용을 금지합니다. 정신건강 및 폭력 예방 전문가들과 함께 더 이른 단계에 개입할 수 있는 추가적인 자동화 방안도 모색하고 있습니다. 대화에서 사용자가 폭력이나 타인에게 심각한 해를 입히려는 생각에 집착하는 징후가 나타나면, ChatGPT는 그 자리에서 이러한 흐름을 끊기 위해 채팅을 자동으로 종료할 수 있게 됩니다. ChatGPT가 이러한 이유로 여러 차례 채팅을 종료한 경우에는 해당 계정을 일시 정지할 수 있습니다. 이러한 노력은 현재도 진행 중이며, 경고 징후를 신뢰성 있게 인식하고 개입 시점과 방법을 결정하는 방안을 비롯해 기술적·실질적 보호 조치를 지속적으로 강화하고 이에 투자하고 있습니다.

청소년용 ChatGPT⁠는 만 18세 미만 사용자에게 연령에 맞는 안전장치를 적용합니다. 보호 조치를 강화하고 추가적인 제한을 두어 민감한 콘텐츠에 대한 노출을 줄입니다. 질문이 무해해 보이는 경우에도, 청소년이 접할 수 있는 무기 관련 정보에 추가적인 제한을 적용합니다. 

OpenAI는 지금도 정책상 누구든 폭력을 계획하거나 실행하도록 돕는 것을 금지하고 있고, 청소년이 무기를 찾거나 구하도록 돕는 행위도 제한하고 있습니다. 이러한 보호 조치를 확대하여, 폭력적 의도의 징후가 없더라도 폭력 실행에 악용될 수 있는 무기 및 보안 시스템에 관한 실용적인 정보를 제한합니다. 청소년은 여전히 ChatGPT를 활용해 폭력을 예방하고 폭력 상황을 진정시키며, 지원을 구하고, 신뢰할 수 있는 성인과 연결될 수 있습니다. 

지난해에는 행동 패턴 등 여러 신호를 분석해 사용자가 만 18세 미만인지 이상인지 추정하는 연령 예측⁠ 기능을 도입했습니다. 사람들이 ChatGPT를 사용하는 동안 새로운 신호를 지속적으로 평가하도록 연령 예측 시스템을 강화했으며, 적절하다고 판단되는 경우 만 18세 미만 사용자용 환경으로 전환합니다. 만 18세 미만 사용자용 환경이 잘못 적용된 사용자는 언제든 연령 인증 파트너인 Persona를 통해 개인정보를 보호하면서 신속하게 성인임을 확인하고 청소년에게 적용되는 추가 보호 조치를 해제할 수 있습니다. 

자녀 보호⁠ 기능을 통해 부모는 자신의 ChatGPT 계정을 청소년 자녀의 계정과 연결하고 안전 설정을 함께 관리할 수 있습니다. 연결된 계정에는 안전 알림⁠ 기능이 포함되어 있으며 전문 교육을 받은 검토자가 심각한 자해 우려나 섭식 문제와 관련될 수 있는 행동을 확인하면 알림이 전송될 수 있습니다. 7월에는 알림 범위를 확대해 청소년 자녀의 계정이 폭력 관련 사용 정책 위반으로 비활성화된 경우에도 부모에게 알리도록 했습니다. 위에서 자세히 설명한 대로, 폭력을 반복적으로 논의해 청소년 자녀의 계정을 일시 정지하는 경우에도 부모에게 알림을 보내는 기능을 도입하기 위해 노력하고 있습니다.

현실에서 벌어지는 폭력은 가슴 아픈 일이며, 여러 요인이 복합적으로 작용하는 문제입니다. 또한 이러한 사건은 본질적으로 복잡한 인간 행동의 현실을 고려해 시스템을 계속 설계하고 개선해야 한다는 점을 분명하게 일깨워 줍니다. AI 시스템에서 효과적인 폭력 방지 조치를 개발하려면 위험을 인식하고 적절하게 대응하는 과정에서 새로운 문제들을 해결해야 합니다. 이를 위해 지속적으로 투자하고 개선을 거듭하며 추진 중인 보호 조치를 가장 효과적으로 구현하는 방법에 관해 배운 점을  공유하겠습니다. 여기에 설명된 보호 조치는 앞으로 몇 주 내에 순차적으로 도입되기 시작하며 이후에도 계속 개선해 나갈 예정입니다. 앞으로도 ChatGPT에서 발생할 수 있는 피해 위험을 줄이고, 다층적인 보호 조치를 강화하며, 오용을 모니터링하고 규정을 집행하겠습니다. 상황에 따라 현실에서의 지원과 개입으로 연결하는 노력도 지속하겠습니다.