Обновленная Спецификация модели для более умного и полезного ИИ
По мере того как наши модели становятся умнее, а их действия все сильнее влияют на мир, все важнее, чтобы модели не ограничивались интерпретацией конкретных инструкций. Модели также должны понимать намерения и ценности людей, чтобы принимать взвешенные решения в ситуациях, не предусмотренных инструкциями, при этом сохраняя верность намерениям человека и оставаясь под его контролем.
Сегодня мы обновляем Спецификацию модели(открывается в новом окне) — наше общедоступное описание того, как должны вести себя наши модели. В обновленном документе рекомендации сгруппированы по пяти базовым ценностям: верности намерениям человека, минимизации вреда, честности и прозрачности, самостоятельности человека и заботе. Это отражает одну из целей нашей работы по согласованию ИИ с человеческими ценностями: модели должны понимать и применять эти ценности в незнакомых ситуациях, сохраняя верность намерениям человека. Помимо более ясных объяснений существующих принципов, новая редакция содержит рекомендации по учету контекста, контролю со стороны человека и его самостоятельности. Мы также скорректировали некоторые правила поведения по умолчанию и убрали большую часть подробных рекомендаций по стилю.
Эти пять ценностей выражают общие обязательства, уже отраженные в разных разделах Спецификации модели: служить целям человека, быть правдивыми, минимизировать вред, уважать свободу людей формировать собственные взгляды и внимательно учитывать обстоятельства, в которых они находятся. Объединив эти обязательства, мы можем лучше объяснить, почему Спецификация требует от моделей именно такого поведения, и дать более четкие рекомендации там, где эти обязательства были выражены не в полной мере. Это обновление — еще один шаг в нашей работе над совершенствованием Спецификации на основе исследований, опыта внедрения моделей, отзывов общественности о Спецификации и поведении моделей, а также обсуждений с пользователями и независимыми экспертами.
Мы хотим, чтобы ИИ приносил пользу людям во всем мире — с разными потребностями, ценностями и надеждами на будущее.
Верность намерениям человека — основа этого подхода: понимать, что важно для людей, и помогать им этого добиваться. OpenAI разрабатывает Спецификацию, устанавливает границы и обучает модели их соблюдать; разработчики определяют работу приложений в этих границах, а пользователи направляют работу модели с учетом этих ограничений. Наши модели должны расширять возможности людей самостоятельно строить свою жизнь: помогать им понимать мир, открывать новые возможности и достигать выбранных целей, при этом внимательно учитывая, как эта помощь влияет на других. Верность намерениям человека и остальные четыре ценности определяют структуру Спецификации и помогают нашим моделям находить баланс при решении наиболее важных противоречий, с которыми они сталкиваются. Они не претендуют на охват всего многообразия человеческих ценностей, которые наши модели должны уважать и помогать людям воплощать в жизнь.
Верность намерениям — это не просто буквальное выполнение инструкций, а глубокое понимание целей и ценностей OpenAI, разработчиков и пользователей, а также разумные действия, когда это понимание неполно. Это также означает признавать, что убеждения и ценности людей могут меняться, и помогать им размышлять и развиваться так, как они сами сочли бы правильным, — без скрытого влияния и подмены их выбора. Например, помогая человеку сравнить предложения о работе, модель может опираться на приоритеты, о которых он говорил ранее, — такие как предсказуемый график. При этом она должна явно обозначать эти предположения, чтобы их было легко исправить.
Наша миссия — обеспечить, чтобы общий искусственный интеллект приносил пользу всему человечеству. Для этого нужно учитывать не только текущие намерения человека, но и его долгосрочные интересы, а также последствия для других людей. Остальные четыре ценности прямо отражают эти соображения:
Минимизация вреда означает соблюдение строгих ограничений безопасности и учет последствий действий модели, которые можно предвидеть.
Честность и прозрачность означают, что модель должна правдиво сообщать, что она знает, что делает и в чем не уверена, чтобы люди могли понимать и оценивать ее рассуждения и работу.
Поддержка самостоятельности человека означает укрепление способности людей самостоятельно разбираться в вопросах, делать выбор и действовать.
Забота означает внимание к обстоятельствам всех, кого затрагивает работа модели, соблюдение применимых социальных и профессиональных норм и надежность результатов.
Спецификация превращает эти ценности в практические рекомендации: там, где это необходимо для защиты людей и общества, она устанавливает строгие границы, а в остальных случаях преимущественно задает правила по умолчанию, которые пользователи и разработчики могут изменять своими инструкциями.
Параллельно с обновлением Спецификации модели мы изучаем новые методы обучения, которые помогут нашим моделям усвоить эти базовые ценности, лучше понимать конкретные принципы поведения из Спецификации и следовать им. Цель — сформировать понимание того, почему эти принципы важны и как применять их в новых ситуациях: поступать правильно, руководствуясь правильными мотивами. Мы хотим, чтобы это понимание помогало моделям принимать взвешенные решения в ситуациях с серьезными последствиями и учитывать интересы людей в повседневных решениях, которые в совокупности могут принести долгосрочную пользу людям и обществу(открывается в новом окне). В будущих публикациях мы поделимся результатами этой работы над обучением и выводами, к которым пришли.
Пересмотр структуры также помог нам выявить, где нужны дополнительные рекомендации, разработать для этих случаев новые принципы и при необходимости пересмотреть или удалить существующие рекомендации.
Новый раздел о верности намерениям человека исходит из того, что первостепенное значение имеют ценности людей, а инструкции обычно служат самым ясным и важным выражением этих ценностей. Этот подход использует идеи игр содействия (assistance games) — теоретико-игровой модели согласования ИИ с человеческими ценностями (см. раннюю работу(открывается в новом окне) и более поздний обзор(открывается в новом окне)). Раздел включает обновленную иерархию инструкций(открывается в новом окне), которая объясняет, какие инструкции применяются и как разрешаются противоречия между ними. Новый подраздел «Внимательно учитывайте контекст»(открывается в новом окне) объясняет, как модель должна учитывать диалоги, сведения из памяти и другие данные контекста, чтобы понимать намерения и предпочтения людей.
Мы также добавили правила по умолчанию о поддержке самостоятельности человека(открывается в новом окне) и соблюдении применимых социальных норм(открывается в новом окне), а также расширили существующие рекомендации по контролю побочных эффектов и информированию о них(открывается в новом окне). Эти принципы описывают дополнительные, зачастую тонкие, но важные проявления остальных ценностей в поведении модели: учитывать влияние своей работы на других, расширять возможности пользователей и давать надежные результаты, уважая при этом цели и инструкции пользователя.
Одновременно мы убираем из Спецификации большую часть подробных рекомендаций по стилю. Стиль должен подстраиваться под предпочтения людей — как общие, так и характерные для отдельных языков и культур или конкретного человека. Обратная связь от пользователей и контекст помогают понять эти предпочтения. В Спецификации сохраняются более строгие правила по умолчанию, например объективный подход к вопросам(открывается в новом окне). Пользователи и разработчики могут прямо попросить модель придерживаться определенной точки зрения, но модель не должна делать вывод о таком предпочтении лишь на основании своих предположений о том, что они хотят услышать.
Наконец, поскольку наши модели используются для все более широкого круга задач и в самых разных условиях, в Спецификации мы теперь называем модель «GPT», а не «ассистентом».
Возможности моделей растут, и это обновление — первый шаг к более ясному изложению ценностей и логики, на которых основана Спецификация. Спецификация модели описывает поведение, к которому мы стремимся; наши модели пока не полностью ему соответствуют. Мы продолжим совершенствовать и Спецификацию, и модели, опираясь на исследования, опыт практического применения и обратную связь.
Нам важно узнать, какие положения Спецификации кажутся вам убедительными, с какими компромиссами вы не согласны и что в ней упущено или остается неясным. Отзывы о ценностях, компромиссах и конкретных формулировках помогут нам улучшить документ. Приглашаем вас прочитать обновленную Спецификацию модели(открывается в новом окне) и поделиться своим мнением(открывается в новом окне).
