अत्याधुनिक AI ट्रेनिंग के लिए सुरक्षा मामलों की ओर

हमारा मानना है कि हम एक नए दौर में जा रहे हैं, जिसमें किसी भी अत्याधुनिक रीइंफ़ोर्समेंट लर्निंग ट्रेनिंग रन को जारी रखने से पहले स्ट्रक्चर्ड सेफ़्टी डॉक्यूमेंटेशन ज़रूरी होना चाहिए. आम तौर पर, ऐसा डॉक्यूमेंटेशन “सेफ़्टी केस” के लेवल तक पहुँच जाएगा—रिस्क के बारे में कॉम्प्रिहेंसिव, स्ट्रक्चर्ड, सबूत-आधारित तर्क जो दूसरी सुरक्षा-संवेदनशील इंडस्ट्री में इस्तेमाल होते हैं. हम सेफ़्टी केस को अपना मार्गदर्शक लक्ष्य मानते हैं, जिसकी ओर हम बढ़ रहे हैं, साथ ही AI क्षमता के हर नए लेवल पर उभरती मुश्किलों के कारण, AI मॉडल्स के लिए उन्हें एविएशन या न्यूक्लियर पावर जितना ही सख़्त बनाने की चुनौतियों को भी मानते हैं. हम इन तरीकों को कोड करने के लिए एक फ़्रेमवर्क पर काम कर रहे हैं.

नीचे कुछ शुरुआती गाइडलाइन दी गई हैं जो हमें लगता है कि अत्याधुनिक AI ट्रेनिंग के लिए ऐसे सुरक्षा मामलों का हिस्सा होनी चाहिए. ये बेहतरीन तरीके हमारी मौजूदा सीख को दिखाते हैं, और हमें उम्मीद है कि जैसे-जैसे हम सावधानी से डेवलपमेंट के लिए इंटरनल प्रोसेस में सुधार करते रहेंगे, ये भी बेहतर होते जाएँगे. हम इन्हें अभी इसलिए शेयर कर रहे हैं ताकि हमारी मौजूदा सोच सबके सामने आ सके और हम कम्युनिटी से फ़ीडबैक पा सकें. ध्यान दें कि यह डॉक्यूमेंट अत्याधुनिक रीइंफ़ोर्समेंट लर्निंग ट्रेनिंग पर केंद्रित है; इंटरनल और एक्सटर्नल डिप्लॉयमेंट के लिए अलाइनमेंट प्रॉपर्टीज़ के कहीं ज़्यादा व्यापक सेट पर विचार करने की ज़रूरत होती है.

सेफ़्टी केस में टेक्निकल स्टैक के तीन पहलुओं को शामिल किया जाना चाहिए: अलाइनमेंट ट्रेनिंग, कंटेनमेंट और मॉनिटरिंग. ये सुरक्षा उपाय यह पक्का करने में मदद करते हैं कि मॉडल गलत काम करने की कोशिश न करे, और अगर वह ऐसा करता भी है, तो कंटेनमेंट को तोड़ना मुश्किल हो, और नुकसान होने से पहले ही मॉनिटरिंग उसे पकड़ ले.

• मॉडल अलाइनमेंट: बचाव का पहला कदम मॉडल्स को अलाइन करने के लिए ट्रेन करना होना चाहिए; यानी, उन्हें इस तरह से काम करने के लिए तैयार करना जो भरोसेमंद हो और हमारे मन के मुताबिक हो. इसमें ये चीज़ें शामिल हो सकती हैं:

  • ट्रेनिंग एनवायरनमेंट और ग्रेडिंग: ट्रेनिंग के दौरान रिवॉर्ड हैक्स को बढ़ावा मिलने से रोककर, मॉडल के गलत व्यवहार करने के रिस्क को कम करें. इसमें ये चीज़ें शामिल हो सकती हैं:

    • ऑटोमेटेड डेटासेट रिव्यू: ऐसे एजेंट का इस्तेमाल करें जो टूटे हुए RL एनवायरनमेंट को खोजें और ठीक करें जो गलत अलाइन हुई ट्रैजेक्टरीज़ को चाहे गए व्यवहार के बजाय खामियों का फ़ायदा उठाकर हाई रिवॉर्ड पाने की अनुमति दे सकते हैं, जिससे ट्रेनिंग के दौरान मिसअलाइनमेंट के दोबारा होने के अवसरों को कम किया जा सके.

    • मैन्युअल डेटासेट रिव्यू: ऑटोमेटेड रेड-टीमिंग के साथ-साथ डेटासेट का मैन्युअल रिव्यू और क्वालिटी चेक करें, ताकि ऐसे ख़राब टास्क की पहचान की जा सके जो अनजाने में गलत व्यवहार को बढ़ावा दे सकते हैं.

    • ग्रेडर ट्यूनिंग: ग्रेडर को इस तरह ट्यून करें कि वे ट्रेनिंग के दौरान RL एनवायरनमेंट का फ़ायदा उठाने या उसे हैक करने की मॉडल की कोशिशों पर पेनल्टी लगाएँ.

    • पिछले रन का एनालिसिस: यह पक्का करने के लिए कि ग्रेडर उम्मीद के मुताबिक काम कर रहे हैं, पिछले एक्सपेरिमेंट के ट्रेसेस पर क्लासिफ़ायर चलाएँ.

  • अलाइनमेंट मेजरमेंट: अलाइनमेंट ट्रेनिंग कितनी असरदार है, यह मापने के लिए मॉडल के मिसअलाइनमेंट की संभावनाओं को ट्रैक करने वाले मूल्यांकन चलाएँ. इसमें ये शामिल हो सकते हैं:

    • ऑफ़लाइन अलाइनमेंट मूल्यांकन:अत्याधुनिक रन के दौरान अलाइनमेंट मूल्यांकन करें ताकि यह पता चल सके कि ट्रेनिंग जैसा सोचा गया था वैसा काम कर रही है या नहीं, और किसी भी उल्लेखनीय गिरावट की जाँच करें.

    • बैकटेस्टिंग: पिछली घटनाओं पर अलाइनमेंट मूल्यांकन का बैकटेस्ट करें ताकि यह पक्का किया जा सके कि मूल्यांकन पहले मिसअलाइन हुए मॉडल का पता लगाते हैं और किसी ख़ास घटना के हिसाब से नहीं ढाले जा रहे हैं.

    • मूल्यांकन गेमिंग को ट्रैक करना: ऐसे मूल्यांकन जागरूकता या मेटागेमिंग (यानी मॉडल का यह पहचान लेना कि उन्हें टेस्ट किया जा रहा है) को ट्रैक करें जिससे व्यवहार में बदलाव आ सकता है (जैसे, अलाइनमेंट मूल्यांकन के दौरान मूल्यांकन जागरूकता और मेटागेमिंग मॉनिटर को एनेबल करना), और इसके लिए ख़ास ब्लॉकिंग थ्रेशोल्ड तय करें.

    • सबसे ख़राब स्थिति वाले स्ट्रेस टेस्ट: सबसे ख़राब गलत व्यवहार का पता लगाएँ और यह जाँच करें कि कम से कम एक मूल्यांकन से इसका पता चल जाएगा.

  • चेन-ऑफ-थॉट पर ट्रेनिंग रोकें: रीइंफ़ोर्समेंट लर्निंग में ऑटोमेटेड ग्रेडर्स को 'चेन-ऑफ-थॉट' न देखने दें, ताकि मॉडल ऐसे न बन जाएँ जो 'चेन-ऑफ-थॉट' मॉनिटर से बच सकें.

• कंटेनमेंट: अगर कोई मॉडल गलत तरीके से काम करने लगे, तो सैंडबॉक्सिंग और सिक्योरिटी को इतना मज़बूत बनाएँ कि नुकसानदेह काम को रोका जा सके. इसमें ये चीज़ें शामिल हो सकती हैं:

  • इंफ़्रास्ट्रक्चर सिक्योरिटी की कई परतें: जिस सैंडबॉक्स में मॉडल चलता है और जो रिसर्च इंफ़्रास्ट्रक्चर सैंडबॉक्स को होस्ट करता है, उन दोनों को मज़बूत बनाने में काफ़ी निवेश करें. इससे यह पक्का हो सकेगा कि अगर सैंडबॉक्स से कोई चीज़ बाहर निकलती है, तो हमारे पास सुरक्षा की एक अतिरिक्त परत मौजूद हो.

  • कंटेनमेंट रेड-टीमिंग: अत्याधुनिक ट्रेनिंग रन से चेकपॉइंट का इस्तेमाल करके इन सिस्टम की बार-बार रेड-टीमिंग करके सैंडबॉक्स, रिसर्च इंफ़्रास्ट्रक्चर और पेरिमीटर सिक्योरिटी को बेहतर बनाएँ. इसमें सेफ़्टी एनालिसिस के आधार पर, किसी भी कमी को ढूंढकर उसे दूर करें. साथ ही, उन सभी सर्विस की भी रेड टीमिंग करें जिन तक मॉडल ट्रेनिंग के दौरान पहुँच सकता है (जैसे, इंटरनेट कैश).

  • क्रॉस-सैंपल कम्युनिकेशन: हाई-बैंडविड्थ वाले क्रॉस-सैंपल कम्युनिकेशन को सिर्फ़ मंज़ूर किए गए पाथवे, जैसे मल्टी-एजेंट टूलिंग तक ही सीमित रखें, और इंफ़्रास्ट्रक्चर के उन साइड चैनल को बंद कर दें जिनमें हाई-बैंडविड्थ हों और जिन्हें एजेंट आसानी से ढूंढ सकें.

  • अपरिवर्तनीय ट्रांसक्रिप्ट: सभी RL ट्रेनिंग, मूल्यांकन और इंटरनल डिप्लॉयमेंट के लिए एजेंट ट्रांसक्रिप्ट को उचित समय के लिए (उदाहरण के लिए, 'राइट-वन्स' स्टोरेज अकाउंट में) अपरिवर्तनीय तौर से सेव करें, ताकि घटनाओं की विश्वसनीय जाँच हो सके और अनजाने में होने वाले बदलाव को रोका जा सके.

• मॉनिटरिंग: अगर मॉडल गलत तरीके से काम करना शुरू कर दें, तो किसी भी संभावित मिसअलाइनमेंट को पकड़ने के लिए एक लाइव मॉनिटरिंग सिस्टम रखें, और कोई गंभीर घटना होने से पहले ज़रूरी मामलों को तेज़ी से ठीक करें. इसमें ये शामिल हो सकते हैं:

  • मॉनिटरिंग लागू करें: यह पक्का करें कि मॉडल की मॉनिटरिंग की जा सके. इसके लिए स्पष्ट थ्रेशोल्ड के साथ मॉनिटरिंग और मॉनिटर से बचने की क्षमता के मूल्यांकनों से मापें, ताकि चिंताजनक व्यवहार का जल्द पता चल सके.

  • ज्ञात समस्याओं की बेहतर पहचान: यह पक्का करें कि मॉनिटरिंग सिस्टम, अलग रखे गए मूल्यांकन में पिछली घटनाओं को बेहतर ढंग से पहचान सके.

  • मॉनिटर्स के लिए मूल्यांकन को अपडेटेड रखें: नए रन के लिए ऐसे मूल्यांकन डेटापॉइंट बनाएँ जो नए तरह के रिस्क को दर्शाते हों, ताकि मॉनिटर रिकॉल और प्रिसिजन के माप पुराने न पड़ जाएँ.

  • तेज़ प्रतिक्रिया: ऐसे प्रायोरिटी अलर्ट लागू करें जिनसे तय SLA के अंदर कार्रवाई हो सके, चाहे वह ऑन-कॉल व्यक्ति को सूचित करके हो या प्रभावित रन को अपने-आप रोककर, ताकि मॉडल से कोई नुकसान न हो (जैसे, दिन के समय किसी घटना पर सिक्योरिटी ऑन-कॉल और रन ओनर को सूचित करना, और रात में बिना स्वीकार किए गए अलर्ट के लिए रन को अपने-आप रोक देना).

तकनीकी सुरक्षा उपायों के बारे में सुझाव के साथ-साथ, हम अत्याधुनिक AI ट्रेनिंग रन के लिए सेफ़्टी केस के ऑपरेशन से जुड़े बेहतरीन तरीकों पर भी काम कर रहे हैं. इनमें ये चीज़ें शामिल हो सकती हैं:

• असहमति (प्री-मॉर्टम): सेफ़्टी केस का ड्राफ़्ट तैयार होने के बाद, किसी दूसरी टीम के सदस्य को उसमें संभावित कमियाँ खोजने और रिस्क पर अपनी संतुलित राय देने के लिए असहमति लिखनी चाहिए. इसके बाद ट्रेनिंग टीम को इन बातों पर ध्यान देना चाहिए ताकि सेफ़्टी केस को और मज़बूत बनाया जा सके.

• मंज़ूरी: सीनियर लीडरशिप के सदस्यों को 'सेफ़्टी केस' को रिव्यू करना करनी चाहिए. यह पक्का करने के लिए कि रन पर कई इंटरनल जाँच हों, हर सदस्य के पास रन को वीटो करने (रोकने) का अधिकार होना चाहिए (जैसे, रिसर्च ऑर्गनाइज़ेशन के लीड/VP, सेफ़्टी हेड और चीफ़ साइंटिस्ट).

• जवाबदेही: ट्रेनिंग रन के लिए ज़िम्मेदार सीनियर लीडर (जैसे, रिसर्च ऑर्गनाइज़ेशन लीड/रिसर्च VP) को सेफ़्टी केस और किसी भी घटना पर की जाने वाली कार्रवाई (जिसमें परफ़ॉर्मेंस रिव्यू भी शामिल है) के लिए जवाबदेह होना चाहिए, ताकि ट्रेनिंग टीम को भी सेफ़्टी और अलाइनमेंट पर ज़ोर देने के लिए प्रोत्साहित किया जा सके.

• रोकना: अगर ऐसी कोई समस्या मिलती है जिससे सेफ़्टी केस अमान्य हो सकता है (जैसे, सुरक्षा से जुड़ी कोई नई समस्या), तो यह पक्का करें कि सभी संबंधित रन को रोकने के लिए रनबुक, तकनीकी कंट्रोल और SLA मौजूद हों.

• अंदरूनी पारदर्शिता: सुरक्षा से जुड़े मामलों को अंदरूनी निगरानी समूहों (जैसे, सेफ़्टी और सिक्योरिटी कमिटी) को उपलब्ध कराया जाना चाहिए.

• ऑडिट: ऑडिटर्स को पर्याप्त एक्सेस दिया जाना चाहिए, ताकि वे सेफ़्टी केस के दावों की वैधता और मज़बूती वेरिफ़ाई कर सकें और कोई कमी मिलने पर उसे सामने ला सकें.

• एस्केलेशन: मिसअलाइनमेंट से जुड़े मामलों को एस्केलेट करने के लिए एक स्पष्ट प्रोसेस होना चाहिए. इसमें मिसअलाइनमेंट की गंभीरता के लेवल को बताने वाला एक टेबल होना चाहिए और एक 'ऑन-कॉल' व्यक्ति होना चाहिए जो किसी समस्या के एक निश्चित गंभीरता लेवल पर पहुँचने पर अधिकारियों (जैसे CEO) को सूचित कर सके.

• टेक्निकल कंट्रोल: इंसानों और एजेंट्स के लिए नियमों का पालन न करने वाले रन शुरू करना मुश्किल होना चाहिए. मॉनिटरिंग और ऑटो-पॉज़िंग जैसे सुरक्षा फ़ीचर 'फ़ेल-क्लोज़्ड' होने चाहिए (यानी, सही मॉनिटरिंग एनेबल किए बिना रन शुरू करना, या RL ट्रेनिंग, मूल्यांकन या इंटरनल डिप्लॉयमेंट के दौरान मॉनिटर को डिसेबल करना मुमकिन नहीं होना चाहिए).

• रोलबैक की सुविधा: ट्रेनिंग प्रोसेस में गलत तरीके से अलाइन किए गए मॉडल के सभी डाउनस्ट्रीम इस्तेमाल (जैसे: डेटा जेनरेट करना या ग्रेडिंग) की पहचान करना आसान होना चाहिए, ताकि ज़रूरत पड़ने पर गलत आउटपुट के असर को हटाया जा सके.

• बचे हुए रिस्क की पूरी जानकारी: सेफ़्टी मामलों में, बचे हुए रिस्क की एक पूरी लिस्ट होनी चाहिए जो अभी लागू किए गए कम करने के उपायों में कवर नहीं हैं, जितना हो सके, ताकि सोच-समझकर रिस्क स्वीकार करने के फ़ैसले लिए जा सकें.

ये हमारे मौजूदा सुझाव हैं और OpenAI में इन्हें लागू करने का प्रोसेस जारी है. हमें उम्मीद है कि आने वाले हफ़्तों में हमारे तरीकों में और बदलाव आएँगे.

हम AI के गंभीर मिसअलाइनमेंट की घटनाओं की जाँच के लिए कुछ बेहतरीन तरीके भी विकसित कर रहे हैं. लैब को हर घटना से ज़्यादा से ज़्यादा सीखना चाहिए (जैसा कि जाँच के तरीकों⁠(एक नई विंडो में खुलेगा) में अत्यधिक जोखिम वाली दूसरी इंडस्ट्री में होता है) ताकि भविष्य में ऐसी घटनाओं को रोका जा सके. ऐसे काम के कुछ उदाहरण ये हो सकते हैं:

• अंदरूनी पारदर्शिता: क्योंकि किसी घटना की जाँच पूरी होने में काफ़ी समय लग सकता है, इसलिए जाँच के बारे में समय-समय पर इंटरनल अपडेट दिए जाने चाहिए (जैसे, जारी जाँच के लिए रोज़ाना अपडेट). अगर यह सुरक्षित और उनके काम के लिए उपयुक्त हो, तो कर्मचारियों के पास ज़्यादा जानकारी पाने के तय तरीके होने चाहिए, जिसमें रॉ ट्रांसक्रिप्ट और गलत तरीके से काम कर रहे मॉडल से लिए गए सैंपल शामिल हैं.

• मिसअलाइनमेंट की मुख्य वजह: रिसर्चर्स को ट्रेनिंग डायनामिक्स (जैसे, टारगेटेड एब्लेशन या रीसैंपलिंग एक्सपेरिमेंट के ज़रिए) की मुख्य वजह पता लगानी चाहिए ताकि यह समझा जा सके कि मिसअलाइनमेंट वाले व्यवहार कैसे शुरू हुए. इससे मिसअलाइनमेंट के विज्ञान को बेहतर ढंग से समझने और भविष्य में इसे बेहतर ढंग से रोकने में मदद मिलेगी.

• पोस्ट-मॉर्टम: घटना से जुड़ी सभी वजहों को समझने के लिए ऑपरेशनल और कल्चरल पोस्ट-मॉर्टम किया जाना चाहिए. जैसे कि घटना से पहले समस्याएँ क्यों पैदा हुईं और उन पर ध्यान क्यों नहीं दिया गया या उन्हें आगे क्यों नहीं बढ़ाया गया.

• पता लगाना: हमें ऐसे अलाइनमेंट टेस्टिंग तरीके बनाने चाहिए जो घटना से जुड़ी जानकारी (जैसे ट्रांसक्रिप्ट या घटना की समरी) का सीधे इस्तेमाल किए बिना, घटना का कारण बनने की संभावना का पता लगा सकें. घटना से जुड़ी जानकारी के आधार पर किए जाने वाले मूल्यांकन को "रिग्रेशन टेस्ट" के तौर पर बनाया जाना चाहिए, ताकि यह पक्का किया जा सके कि भविष्य के मॉडल काफ़ी मिलती-जुलती घटनाओं में मिसअलाइनमेंट न दिखाएँ.

• सार्वजनिक खुलासे: जाँच पूरी होने के बाद, जाँच के नतीजे, पोस्टमार्टम और कामकाज में किए गए बदलाव को आम जनता के साथ शेयर किया जाना चाहिए. प्रभावित थर्ड पार्टी को जल्द से जल्द सूचित किया जाना चाहिए.