Отчет о безопасности общества и новые меры защиты подростков

ChatGPT — один из самых широко используемых ИИ-продуктов в мире. Мы вложили значительные ресурсы в создание одних из самых передовых в отрасли систем для выявления потенциального вреда, проверки действий, вызывающих опасения, и передачи информации об угрозах, которые оцениваются как реальные, тем, кто может принять меры. Продолжая работу в этой области, мы объявляем о двух нововведениях: новом Отчете о мерах защиты общества и дополнительных ограничениях на контент, связанный с огнестрельным оружием, для несовершеннолетних.

Безопасность общества⁠ остается одним из главных приоритетов OpenAI. Мы сообщаем правоохранительным органам о непосредственных угрозах насилия. В III квартале 2026 года мы направили им более 200 сообщений. Эти сообщения помогают предотвращать⁠(открывается в новом окне) нападения⁠(открывается в новом окне). При оценке сложных случаев мы по-прежнему опираемся на помощь экспертов в области психического здоровья и поведения.

Мы понимаем, что у компаний, работающих в сфере ИИ, есть своя особая роль наряду с правоохранительными органами, членами семей, специалистами по психическому здоровью и теми, кто формирует государственную политику. Их полномочия, знание обстоятельств и возможности действовать в реальном мире имеют решающее значение. Мы стремимся вносить максимально возможный вклад: постоянно совершенствовать наши системы, делиться полученными знаниями и напрямую сотрудничать с теми, кто может наиболее эффективно действовать на практике.

Мы постоянно усиливаем меры, которые помогают защищать людей и общество. Для этого нужно не только создавать надежную защиту, но и открыто рассказывать, насколько хорошо она работает и что мы делаем для ее усиления. Мы хотим дать ясное представление о нашем подходе: как наши модели выявляют опасное поведение и реагируют на него, какие риски мы наблюдаем на практике и какие меры принимаем для их снижения.

Мы обязуемся выпустить отчет о безопасности общества, посвященный предотвращению насилия, другим вопросам безопасности общества и эффективности наших мер защиты. В отчете мы объясним, как обучаем наши системы выявлять проблемы в сфере безопасности общества, анализировать их и реагировать на них. Мы приведем анонимизированные примеры того, как проявляется вред, связанный с насилием, поделимся полученными выводами, расскажем о новых мерах по снижению рисков и изменениях в правилах, а также представим данные, подтверждающие эти выводы.

В начале 2027 года мы опубликуем наш первый отчет, охватывающий вторую половину 2026 года, а затем будем публиковать обновления каждые шесть месяцев. Мы обязуемся делиться значимыми выводами о том, как мы выявляем и проверяем потенциально опасный контент и как на него реагируем.

Наши модели обучены не давать инструкций, которые помогли бы кому-либо спланировать или совершить насилие. Теперь мы вводим дополнительные ограничения на ответы ChatGPT на вопросы о массовых нападениях в прошлом и совершивших их людях. Модель должна предоставлять менее подробную информацию по этим темам, даже если она доступна в других интернет-источниках. Люди должны иметь возможность обращаться к ChatGPT за помощью, чтобы разобраться в этих событиях и их последствиях для пострадавших и общества, а также узнать, как распознавать тревожные признаки и предотвращать насилие в будущем. Однако мы ужесточаем правила, чтобы ограничить реконструкции массовых нападений в прошлом, включая сведения об использовавшемся оружии и оборудовании и о том, как их получили, а также подробные сравнения масштабов причиненного вреда, которые могут сделать нападавшего еще более известным. Эти ограничения действуют независимо от возраста пользователя и причины его вопроса.

Иногда запрос, который сам по себе кажется обычным, приобретает иной смысл в контексте предыдущего разговора. В мае мы рассказали, как ChatGPT может использовать краткие описания⁠ ранее замеченных тревожных признаков, основанные на фактах, чтобы осторожнее отвечать в последующих чатах. Мы продолжаем эту работу: если в недавних чатах есть тревожные признаки возможного насилия, ChatGPT будет строже ограничивать предоставление информации, которую можно использовать во вред. Мы также работаем над тем, чтобы применять эти более строгие ограничения к пользователям, которым, по нашим прогнозам, меньше 18 лет, даже если в их чатах нет признаков намерения совершить насилие.

Мы блокируем аккаунты, если устанавливаем, что при их использовании были нарушены наши правила в отношении насильственных действий⁠. Кроме того, вместе с экспертами по психическому здоровью и предотвращению насилия мы работаем над дополнительными автоматизированными способами вмешательства на более ранних этапах. Если в разговоре появляются признаки того, что человек зацикливается на насилии или идее причинить серьезный вред другому человеку, ChatGPT сможет автоматически завершить чат, чтобы сразу прервать такое обсуждение. Если ChatGPT завершит несколько чатов по этой причине, мы можем временно приостановить действие аккаунта. Эта работа продолжается: мы совершенствуем технические и практические меры защиты и вкладываем ресурсы в их развитие, в том числе в надежное распознавание тревожных признаков и определение того, когда и как следует вмешиваться.

В ChatGPT для подростков⁠ действуют меры защиты с учетом возраста пользователей младше 18 лет. Усиленная защита и дополнительные ограничения помогают сократить доступ к потенциально опасному контенту. Теперь мы дополнительно ограничиваем доступ подростков к информации об оружии, даже если вопрос кажется безобидным.

Наши правила уже запрещают помогать кому-либо планировать насилие или совершать его и ограничивают помощь подросткам в поиске или получении оружия. Мы расширяем эти меры защиты, ограничивая предоставление практической информации об оружии и системах безопасности, которой могут злоупотребить для содействия насилию, даже если нет признаков намерения прибегнуть к насилию. Подростки по-прежнему могут использовать ChatGPT, чтобы предотвращать насилие и снижать его накал, обращаться за поддержкой и устанавливать контакт со взрослым, которому они доверяют. 

В прошлом году мы запустили систему прогнозирования возраста⁠. Она анализирует различные сигналы, например особенности поведения, чтобы оценить, достиг ли пользователь 18 лет. Мы усовершенствовали эту систему: теперь она постоянно оценивает новые сигналы по мере использования ChatGPT и при необходимости переключает пользователей в режим для подростков. Пользователи, ошибочно переведенные в этот режим, всегда смогут быстро подтвердить свое совершеннолетие через нашего партнера по проверке возраста Persona. Это позволит снять дополнительные ограничения для подростков, сохранив конфиденциальность данных.

Наш родительский контроль⁠ позволяет родителям связывать свои аккаунты ChatGPT с аккаунтами подростков и вместе управлять настройками безопасности. Для связанных аккаунтов доступны уведомления о безопасности⁠. Они могут отправляться, когда специально обученные специалисты выявляют серьезный риск самоповреждения или поведение, которое может быть связано с нарушениями пищевого поведения. В июле мы расширили действие этих уведомлений: теперь родители получают сообщение, если аккаунт подростка деактивирован за нарушение наших правил использования, касающихся насилия. Мы также работаем над уведомлениями для родителей на случай временной приостановки действия аккаунта подростка из-за неоднократного обсуждения насилия — в ситуациях, описанных выше.

Насилие в реальном мире — это трагедия, за которой стоит сложное сочетание множества факторов. Такие события также служат суровым напоминанием: мы должны продолжать разрабатывать и совершенствовать наши системы с учетом всей сложности человеческого поведения. Разработка эффективных мер защиты от насилия в системах ИИ требует решения новых задач, связанных с распознаванием рисков и надлежащим реагированием. Мы продолжим вкладывать ресурсы в эту работу, совершенствовать меры защиты и делиться выводами  о том, как лучше всего их внедрять. Описанные здесь меры мы начнем внедрять в ближайшие несколько недель и продолжим их совершенствовать. Мы по-прежнему стремимся снижать риски причинения вреда при использовании ChatGPT, укреплять многоуровневую защиту, отслеживать злоупотребления, обеспечивать соблюдение наших правил и, когда того требует ситуация, привлекать тех, кто может оказать помощь и вмешаться в реальном мире.