कम्युनिटी सेफ़्टी रिपोर्ट पर रिपोर्ट और किशोरों के लिए नए सुरक्षा उपाय

ChatGPT दुनिया में सबसे अधिक इस्तेमाल किए जाने वाले AI प्रोडक्ट्स में से एक है. हमने संभावित नुकसान का पता लगाने, चिंताजनक गतिविधियों की समीक्षा करने और विश्वसनीय खतरों को आगे कार्रवाई के लिए भेजने हेतु उद्योग की कुछ सबसे उन्नत प्रणालियाँ बनाने में निवेश किया है. इस क्षेत्र में अपने काम को आगे बढ़ाने के लिए हम दो घोषणाएँ कर रहे हैं: समुदाय सुरक्षा उपायों पर एक नई रिपोर्ट और नाबालिगों के लिए आग्नेयास्त्रों से जुड़ी सामग्री पर और अधिक प्रतिबंध.

समुदायों को सुरक्षित रखना⁠ OpenAI की सर्वोच्च प्राथमिकता बनी हुई है. हमारे काम में हिंसा के आसन्न खतरों को कानून प्रवर्तन एजेंसियों के संज्ञान में लाना शामिल है, और हमने Q3 2026 में कानून प्रवर्तन एजेंसियों को 200 से अधिक रेफ़रल किए. हिंसक साज़िशों को विफल करने में ये रेफ़रल सकारात्मक⁠(एक नई विंडो में खुलेगा) असर⁠(एक नई विंडो में खुलेगा) डाल रहे हैं, और मुश्किल मामलों का आकलन करने में हमारी मदद के लिए हम मानसिक स्वास्थ्य और व्यवहार विशेषज्ञों पर निर्भर रहना जारी रखते हैं.

हम मानते हैं कि कानून प्रवर्तन एजेंसियों, परिजनों, मानसिक स्वास्थ्य पेशेवरों और नीति-निर्माताओं के साथ AI कंपनियों की भी एक विशिष्ट भूमिका है. ये अन्य पक्ष ज़रूरी अधिकार, संदर्भ की समझ और वास्तविक दुनिया में लोगों तक पहुँच रखते हैं. हम अपनी प्रणालियों को लगातार मज़बूत करके, अपनी सीख साझा करके और वास्तविक दुनिया में कार्रवाई करने में सबसे सक्षम लोगों के साथ सीधे काम करके उस भूमिका को अधिकतम प्रभावी बनाने के लिए प्रतिबद्ध हैं.

हम लोगों और समुदायों की सुरक्षा में मदद करने के लिए उठाए जाने वाले कदमों को लगातार मज़बूत कर रहे हैं. इसका मतलब है मज़बूत सुरक्षा उपाय बनाना और इस बारे में पारदर्शी रहना कि वे कितने कारगर हैं और उन्हें बेहतर बनाने के लिए हम क्या कर रहे हैं. हम लोगों को अपने दृष्टिकोण, हमारे मॉडल हानिकारक व्यवहार की पहचान कैसे करते हैं और उस पर कैसी प्रतिक्रिया देते हैं, वास्तविक उपयोग में हमें क्या जोखिम दिखते हैं और उनसे निपटने के लिए हम क्या कदम उठाते हैं, इसकी स्पष्ट जानकारी देना चाहते हैं.

हम हिंसा की रोकथाम और कम्युनिटी सेफ़्टी रिपोर्ट से जुड़े अन्य मुद्दों, तथा हमारे सुरक्षा उपायों की प्रभावशीलता पर कम्युनिटी सेफ़्टी रिपोर्ट जारी करने के लिए प्रतिबद्ध हैं. इस रिपोर्ट में बताया जाएगा कि हम अपने सिस्टम को कम्युनिटी सेफ़्टी रिपोर्ट से जुड़े मुद्दों का पता लगाने, उनकी जाँच करने और उन पर प्रतिक्रिया देने के लिए कैसे प्रशिक्षित करते हैं. हम हिंसा से जुड़े नुकसान के सामने आने के तरीकों और उनसे हमें क्या सीखने को मिल रहा है, इसके गुमनाम उदाहरण साझा करेंगे, नए जोखिम-न्यूनीकरण उपायों और नीतिगत बदलावों को रेखांकित करेंगे, और इन निष्कर्षों के समर्थन में प्रासंगिक डेटा शामिल करेंगे.

हम 2027 की शुरुआत में अपनी पहली रिपोर्ट प्रकाशित करेंगे, जिसमें 2026 की दूसरी छमाही को शामिल किया जाएगा. इसके बाद हर छह महीने में अपडेट दिए जाएंगे. हमारी प्रतिबद्धता यह है कि हम इस बारे में उपयोगी निष्कर्ष साझा करें कि हम संभावित रूप से हानिकारक सामग्री की पहचान, समीक्षा और उस पर प्रतिक्रिया कैसे देते हैं.

हमारे मॉडल को इस तरह प्रशिक्षित किया जाता है कि वे ऐसे निर्देश न दें जो किसी को हिंसा की योजना बनाने या उसे अंजाम देने में मदद करें. अब हम बीते समय में बड़े पैमाने पर हुए हमलों और उन्हें अंजाम देने वालों के बारे में ChatGPT के जवाबों पर अतिरिक्त प्रतिबंध लगा रहे हैं. मॉडल को इन विषयों पर कम विस्तृत जानकारी देने का निर्देश दिया जा रहा है, भले ही ऐसी जानकारी अन्य ऑनलाइन स्रोतों पर उपलब्ध हो. लोग ChatGPT से इन घटनाओं को समझने, पीड़ितों और समुदायों पर उनके प्रभाव को जानने, चेतावनी के संकेत पहचानने और भविष्य में हिंसा रोकने के तरीके सीखने में मदद माँग सकें, यह ज़रूरी है. लेकिन हम बीते समय में बड़े पैमाने पर हुए हमलों का पुनर्निर्माण करने पर रोक लगाने के लिए अपनी नीतियाँ सख़्त कर रहे हैं. इसमें इस्तेमाल किए गए हथियारों और उपकरणों तथा उन्हें हासिल करने के तरीकों की जानकारी, और नुकसान के पैमाने की ऐसी विस्तृत तुलनाएँ शामिल हैं जो हमलावर की बदनामी को बढ़ा सकती हैं. ये सीमाएँ उपयोगकर्ता की उम्र या सवाल पूछने के कारण की परवाह किए बिना लागू होती हैं.

कभी-कभी कोई अनुरोध अपने आप में सामान्य लगता है, लेकिन पिछली बातचीत के संदर्भ में उसका अर्थ बदल जाता है. मई में हमने बताया था कि बाद की बातचीत में अधिक सावधानी से जवाब देने के लिए ChatGPT पहले दिखे चेतावनी के संकेतों के संक्षिप्त, तथ्यात्मक सारांश इस्तेमाल कर सकता है⁠. हम इस काम को आगे बढ़ा रहे हैं, ताकि हाल की बातचीत में संभावित हिंसा के चेतावनी संकेत दिखने पर ChatGPT ऐसी जानकारी साझा करने में अधिक सतर्कता बरते, जिसका दुरुपयोग हो सकता है. हम इन सख़्त सीमाओं को उन उपयोगकर्ताओं पर भी लागू करने के लिए काम कर रहे हैं जिनकी उम्र हमारे अनुमान में 18 वर्ष से कम है, भले ही उनकी बातचीत में हिंसक इरादे का कोई संकेत न हो.

हम उन अकाउंट्स पर प्रतिबंध लगाते हैं जिनके बारे में हम तय करते हैं कि उन्होंने हिंसक गतिविधियों पर हमारी नीतियों⁠ का उल्लंघन किया है. हम मानसिक स्वास्थ्य और हिंसा की रोकथाम के विशेषज्ञों के साथ मिलकर पहले हस्तक्षेप करने के अतिरिक्त स्वचालित तरीकों पर भी काम कर रहे हैं. जब किसी बातचीत में ऐसे संकेत दिखते हैं कि कोई व्यक्ति हिंसा या किसी दूसरे व्यक्ति को गंभीर नुकसान पहुँचाने के विचार पर लगातार ध्यान दे रहा है, तो ChatGPT उस सिलसिले को उसी समय रोकने के लिए बातचीत अपने आप समाप्त कर सकेगा. अगर ChatGPT इसी कारण से कई बातचीत समाप्त करता है, तो हम खाते पर अस्थायी रोक लगा सकते हैं. यह काम लगातार जारी है और हम तकनीकी और व्यावहारिक सुरक्षा उपायों को बेहतर बनाने और उनमें निवेश करने का काम जारी रखे हुए हैं, जिसमें चेतावनी के संकेतों को भरोसेमंद ढंग से पहचानना और यह तय करना शामिल है कि कब और कैसे हस्तक्षेप करना है.

किशोरों के लिए ChatGPT⁠ में 18 वर्ष से कम उम्र के उपयोगकर्ताओं के लिए उम्र के अनुरूप सुरक्षा उपाय लागू होते हैं. संवेदनशील सामग्री तक उनकी पहुँच कम करने के लिए इसमें अधिक मज़बूत सुरक्षा उपाय और अतिरिक्त सीमाएँ हैं. अब हम हथियारों से जुड़ी उस जानकारी पर और सीमाएँ लगा रहे हैं जो किशोरों को मिल सकती है, भले ही कोई सवाल हानिरहित लगे. 

हमारी नीतियां पहले से ही किसी को भी हिंसा की योजना बनाने या उसे अंजाम देने में मदद करने पर रोक लगाती हैं और किशोरों को हथियार ढूंढ़ने या हासिल करने में मदद को सीमित करती हैं. हम इन सुरक्षा उपायों का विस्तार कर रहे हैं, ताकि हथियारों और सुरक्षा प्रणालियों के बारे में ऐसी व्यावहारिक जानकारी को भी सीमित किया जा सके जिसका दुरुपयोग हिंसा को अंजाम देने में मदद के लिए हो सकता है, भले ही हिंसक इरादे का कोई संकेत न हो. किशोर अब भी ChatGPT का इस्तेमाल हिंसा रोकने और उसे बढ़ने से रोकने, सहायता लेने और किसी भरोसेमंद वयस्क से जुड़ने के लिए कर सकते हैं. 

हमने पिछले साल उम्र का अनुमान लगाने की प्रणाली⁠ शुरू की थी. यह व्यवहार के पैटर्न जैसे कई संकेतों का विश्लेषण करके अनुमान लगाती है कि उपयोगकर्ता की उम्र 18 वर्ष से कम हो सकती है या अधिक. हमने उम्र का अनुमान लगाने की अपनी प्रणाली को मज़बूत किया है, ताकि लोग ChatGPT का इस्तेमाल करते समय नए संकेतों का लगातार आकलन किया जा सके और ज़रूरत पड़ने पर किशोरों को 18 वर्ष से कम उम्र वालों के अनुभव में शामिल किया जा सके. जिन उपयोगकर्ताओं को ग़लती से 18 वर्ष से कम उम्र वालों का अनुभव दिया जाता है, उनके पास हमेशा अपनी वयस्क उम्र की पुष्टि करने और किशोरों के लिए लागू अतिरिक्त सुरक्षा उपाय हटवाने का तेज़, निजता-सुरक्षित तरीका होगा. यह सुविधा उम्र की पुष्टि करने वाले हमारे साझेदार Persona के ज़रिए उपलब्ध होगी. 

हमारे पेरेंटल कंट्रोल⁠ की मदद से माता-पिता अपने ChatGPT अकाउंट्स को अपने किशोर बच्चों के अकाउंट्स से जोड़ सकते हैं और साथ मिलकर सुरक्षा सेटिंग प्रबंधित कर सकते हैं. जुड़े हुए अकाउंट्स में सुरक्षा सूचनाएँ⁠ शामिल हैं. विशेष प्रशिक्षण प्राप्त समीक्षकों को खुद को नुकसान पहुँचाने की गंभीर आशंका या खान-पान संबंधी विकारों से जुड़े हो सकने वाले व्यवहार दिखने पर ये सूचनाएँ भेजी जा सकती हैं. जुलाई में हमने इन सूचनाओं का दायरा बढ़ाया. अब हिंसा से संबंधित हमारी उपयोग नीतियों के उल्लंघन के कारण किसी किशोर का खाता निष्क्रिय किए जाने पर भी माता-पिता को सूचना दी जाती है. जैसा कि ऊपर विस्तार से बताया गया है, हम ऐसी सूचनाएँ शुरू करने पर काम कर रहे हैं जिनसे माता-पिता को बताया जा सके कि हिंसा पर बार-बार चर्चा करने के कारण उनके किशोर बच्चे के खाते पर अस्थायी रोक लगाई गई है.

वास्तविक दुनिया में हिंसा की घटनाएँ हृदयविदारक और जटिल होती हैं, और उनके पीछे कई कारकों का योगदान होता है. ये घटनाएँ हमें कड़ाई से याद दिलाती हैं कि हमें अपनी प्रणालियों का निर्माण और उनमें लगातार सुधार करते रहना होगा, ताकि मानव व्यवहार की स्वाभाविक रूप से जटिल वास्तविकताओं को ध्यान में रखा जा सके. AI प्रणालियों में हिंसा से बचाव के प्रभावी उपाय विकसित करने के लिए जोखिम पहचानने और उचित ढंग से प्रतिक्रिया देने से जुड़ी नई तरह की समस्याओं को हल करना ज़रूरी है. हम जिन सुरक्षा उपायों को लागू करना चाहते हैं, उन्हें सबसे अच्छे तरीके से लागू करने के बारे में निवेश करना, उनमें सुधार करना और सीख साझा करना जारी रखेंगे. यहाँ बताए गए सुरक्षा उपाय अगले कुछ हफ़्तों में लागू होने शुरू होंगे और हम उन्हें बेहतर बनाते रहेंगे. हम ChatGPT में नुकसान के जोखिम कम करने, अपनी बहुस्तरीय सुरक्षा को मज़बूत बनाने, दुरुपयोग पर नज़र रखने, अपने नियम लागू करने और परिस्थितियों की माँग होने पर वास्तविक दुनिया में सहायता और हस्तक्षेप शामिल करने के लिए प्रतिबद्ध हैं.