शोधकर्ता यह पता लगा रहे हैं कि बड़े भाषा मॉडल कैसे काम करते हैं – news247online

एलएलएम को डीप लर्निंग नामक तकनीक का उपयोग करके बनाया जाता है, जिसमें सॉफ्टवेयर में सिम्युलेटेड और मानव मस्तिष्क की संरचना पर आधारित अरबों न्यूरॉन्स का एक नेटवर्क, अंतर्निहित पैटर्न की खोज करने के लिए किसी चीज़ के खरबों उदाहरणों के संपर्क में आता है। टेक्स्ट स्ट्रिंग्स पर प्रशिक्षित, एलएलएम बातचीत कर सकते हैं, विभिन्न शैलियों में टेक्स्ट तैयार कर सकते हैं, सॉफ्टवेयर कोड लिख सकते हैं, भाषाओं के बीच अनुवाद कर सकते हैं और इसके अलावा और भी बहुत कुछ कर सकते हैं।

एआई स्टार्टअप एंथ्रोपिक के शोधकर्ता जोश बैटसन कहते हैं कि मॉडल को डिज़ाइन करने के बजाय मूल रूप से विकसित किया जाता है। क्योंकि एलएलएम को स्पष्ट रूप से प्रोग्राम नहीं किया जाता है, इसलिए कोई भी पूरी तरह से निश्चित नहीं है कि उनके पास ऐसी असाधारण क्षमताएँ क्यों हैं। न ही वे जानते हैं कि एलएलएम कभी-कभी गलत व्यवहार क्यों करते हैं, या गलत या मनगढ़ंत उत्तर क्यों देते हैं, जिन्हें “मतिभ्रम” के रूप में जाना जाता है। एलएलएम वास्तव में ब्लैक बॉक्स हैं। यह चिंताजनक है, यह देखते हुए कि वे और अन्य डीप-लर्निंग सिस्टम सभी प्रकार की चीजों के लिए उपयोग किए जाने लगे हैं, ग्राहक सहायता प्रदान करने से लेकर दस्तावेज़ सारांश तैयार करने से लेकर सॉफ़्टवेयर कोड लिखने तक।

एलएलएम के अंदर क्या चल रहा है, यह देखने में सक्षम होना मददगार होगा, ठीक वैसे ही जैसे सही उपकरण दिए जाने पर कार इंजन या माइक्रोप्रोसेसर के साथ ऐसा करना संभव है। नीचे से ऊपर तक मॉडल के आंतरिक कामकाज को समझने में सक्षम होना, फोरेंसिक विवरण को “मैकेनिस्टिक इंटरप्रिटेबिलिटी” कहा जाता है। लेकिन अरबों आंतरिक न्यूरॉन्स वाले नेटवर्क के लिए यह एक कठिन काम है। इसने डॉ. बैटसन और उनके सहयोगियों सहित लोगों को कोशिश करने से नहीं रोका है। मई में प्रकाशित एक पेपर में, उन्होंने बताया कि कैसे उन्होंने एंथ्रोपिक के एलएलएम में से एक के कामकाज में नई अंतर्दृष्टि प्राप्त की है।

कोई सोच सकता है कि LLM के अंदर अलग-अलग न्यूरॉन्स विशिष्ट शब्दों के अनुरूप होंगे। दुर्भाग्य से, चीजें इतनी सरल नहीं हैं। इसके बजाय, अलग-अलग शब्द या अवधारणाएँ न्यूरॉन्स के जटिल पैटर्न की सक्रियता से जुड़ी होती हैं, और अलग-अलग न्यूरॉन्स कई अलग-अलग शब्दों या अवधारणाओं द्वारा सक्रिय हो सकते हैं। 2022 में प्रकाशित एंथ्रोपिक के शोधकर्ताओं द्वारा पहले किए गए काम में इस समस्या की ओर इशारा किया गया था। उन्होंने प्रस्तावित किया – और बाद में कई तरह के वर्कअराउंड आज़माए, 2023 में तथाकथित “स्पैस ऑटोएनकोडर” के साथ बहुत छोटे भाषा मॉडल पर अच्छे परिणाम प्राप्त किए। अपने नवीनतम परिणामों में उन्होंने क्लाउड 3 सॉनेट, एक पूर्ण आकार के LLM के साथ काम करने के लिए इस दृष्टिकोण को बढ़ाया है।

विरल ऑटोएनकोडर, अनिवार्य रूप से, एक दूसरा, छोटा तंत्रिका नेटवर्क है जिसे LLM की गतिविधि पर प्रशिक्षित किया जाता है, जो गतिविधि में अलग-अलग पैटर्न की तलाश करता है जब इसके न्यूरॉन्स के “विरल” (यानी, बहुत छोटे) समूह एक साथ फायर करते हैं। एक बार ऐसे कई पैटर्न, जिन्हें फीचर्स के रूप में जाना जाता है, की पहचान हो जाने के बाद, शोधकर्ता यह निर्धारित कर सकते हैं कि कौन से शब्द किस फीचर को ट्रिगर करते हैं। एंथ्रोपिक टीम ने अलग-अलग फीचर्स पाए जो विशिष्ट शहरों, लोगों, जानवरों और रासायनिक तत्वों के साथ-साथ उच्च-स्तरीय अवधारणाओं जैसे कि परिवहन अवसंरचना, प्रसिद्ध महिला टेनिस खिलाड़ी या गोपनीयता की धारणा से मेल खाते थे। उन्होंने यह अभ्यास तीन बार किया, जिसमें सॉनेट LLM के भीतर 1 मीटर, 4 मीटर और आखिरी बार 34 मीटर की विशेषताओं की पहचान की गई।

इसका परिणाम एलएलएम का एक प्रकार का माइंड-मैप है, जो इसके प्रशिक्षण डेटा से सीखी गई अवधारणाओं का एक छोटा सा अंश दिखाता है। सैन फ्रांसिस्को खाड़ी क्षेत्र में भौगोलिक रूप से करीब स्थित स्थान अवधारणा स्थान में भी एक दूसरे के “करीब” हैं, जैसे कि संबंधित अवधारणाएँ, जैसे कि बीमारियाँ या भावनाएँ। डॉ. बैटसन कहते हैं, “यह रोमांचक है क्योंकि हमारे पास जो कुछ हो रहा है उसका एक आंशिक वैचारिक मानचित्र है, जो धुंधला है।” “और यही शुरुआती बिंदु है – हम उस मानचित्र को समृद्ध कर सकते हैं और वहाँ से आगे बढ़ सकते हैं।”

मन को केन्द्रित करें

एलएलएम के कुछ हिस्सों को चमकते हुए देखने के साथ-साथ, विशिष्ट अवधारणाओं के जवाब में, व्यक्तिगत विशेषताओं में हेरफेर करके इसके व्यवहार को बदलना भी संभव है। एंथ्रोपिक ने गोल्डन गेट ब्रिज से जुड़ी एक विशेषता को “स्पाइकिंग” (यानी, चालू करके) करके इस विचार का परीक्षण किया। इसका परिणाम क्लाउड का एक ऐसा संस्करण था जो पुल के प्रति जुनूनी था, और किसी भी अवसर पर इसका उल्लेख करता था। उदाहरण के लिए, जब उससे पूछा गया कि $10 कैसे खर्च करें, तो उसने टोल का भुगतान करने और पुल पर गाड़ी चलाने का सुझाव दिया; जब उससे प्रेम कहानी लिखने के लिए कहा गया, तो उसने एक प्रेम-विह्वल कार के बारे में एक कहानी गढ़ी जो इसे पार करने के लिए इंतजार नहीं कर सकती थी।

यह मूर्खतापूर्ण लग सकता है, लेकिन इसी सिद्धांत का उपयोग मॉडल को विशेष विषयों, जैसे कि जैव हथियार उत्पादन के बारे में बात करने से हतोत्साहित करने के लिए किया जा सकता है। डॉ. बैटसन कहते हैं, “यहां एआई सुरक्षा एक प्रमुख लक्ष्य है।” इसे व्यवहारों पर भी लागू किया जा सकता है। विशिष्ट विशेषताओं को ट्यून करके, मॉडल को कम या ज्यादा चापलूसीपूर्ण, सहानुभूतिपूर्ण या भ्रामक बनाया जा सकता है। क्या कोई ऐसी विशेषता उभर सकती है जो मतिभ्रम की प्रवृत्ति से मेल खाती हो? डॉ. बैटसन कहते हैं, “हमें कोई ठोस सबूत नहीं मिला।” वे कहते हैं कि मतिभ्रम का कोई पहचान योग्य तंत्र या हस्ताक्षर है या नहीं, यह एक “लाखों डॉलर का सवाल” है। और शोधकर्ताओं के एक अन्य समूह ने नेचर में एक नए पेपर में इस पर चर्चा की है।

यूनिवर्सिटी ऑफ ऑक्सफोर्ड के सेबेस्टियन फ़ार्कुहर और उनके सहकर्मियों ने “सिमेंटिक एन्ट्रॉपी” नामक एक माप का उपयोग यह आकलन करने के लिए किया कि क्या एलएलएम से प्राप्त कथन एक मतिभ्रम होने की संभावना है या नहीं। उनकी तकनीक काफी सीधी है: अनिवार्य रूप से, एलएलएम को कई बार एक ही संकेत दिया जाता है, और फिर उसके उत्तरों को “सिमेंटिक समानता” (यानी, उनके अर्थ के अनुसार) द्वारा समूहीकृत किया जाता है। शोधकर्ताओं का अनुमान था कि इन उत्तरों की “एन्ट्रॉपी” – दूसरे शब्दों में, असंगति की डिग्री – एलएलएम की अनिश्चितता और इस प्रकार मतिभ्रम की संभावना से मेल खाती है। यदि इसके सभी उत्तर अनिवार्य रूप से एक विषय पर भिन्नताएं हैं, तो वे संभवतः मतिभ्रम नहीं हैं (हालांकि वे अभी भी गलत हो सकते हैं)।

एक उदाहरण में, ऑक्सफोर्ड समूह ने एक एलएलएम से पूछा कि फ़ेडो संगीत किस देश से जुड़ा है, और इसने लगातार उत्तर दिया कि फ़ेडो पुर्तगाल का राष्ट्रीय संगीत है – जो सही है, और यह एक भ्रम नहीं है। लेकिन जब StarD10 नामक प्रोटीन के कार्य के बारे में पूछा गया, तो मॉडल ने कई अलग-अलग उत्तर दिए, जो भ्रम का सुझाव देते हैं। (शोधकर्ता “कॉन्फ़ैब्यूलेशन” शब्द को प्राथमिकता देते हैं, जो भ्रम का एक उपसमूह है जिसे वे “मनमाना और गलत पीढ़ी” के रूप में परिभाषित करते हैं।) कुल मिलाकर, यह दृष्टिकोण 79% समय में सटीक कथनों और भ्रम के बीच अंतर करने में सक्षम था; पिछले तरीकों की तुलना में दस प्रतिशत अंक बेहतर। यह कार्य कई मायनों में एंथ्रोपिक के लिए पूरक है।

अन्य लोग भी LLM पर से पर्दा उठा रहे हैं: GPT-4 और ChatGPT के निर्माता OpenAI की “सुपरअलाइनमेंट” टीम ने जून में स्पार्स ऑटोएनकोडर पर अपना स्वयं का पेपर जारी किया, हालाँकि अब कई शोधकर्ताओं के फर्म छोड़ने के बाद टीम को भंग कर दिया गया है। लेकिन डॉ. बैटसन कहते हैं कि OpenAI पेपर में कुछ नवीन विचार शामिल थे। वे कहते हैं, “हम सभी समूहों को मॉडल को बेहतर ढंग से समझने के लिए काम करते हुए देखकर वास्तव में खुश हैं।” “हम चाहते हैं कि हर कोई ऐसा करे।”

© 2024, द इकोनॉमिस्ट न्यूज़पेपर लिमिटेड। सभी अधिकार सुरक्षित। द इकोनॉमिस्ट से, लाइसेंस के तहत प्रकाशित। मूल सामग्री www.economist.com पर देखी जा सकती है।