पांच तरीके जो एआई खुद को बेहतर बनाने के लिए सीख रहे हैं

यही कारण है कि मीहोसिनी एआई चिप्स को अनुकूलित करने के लिए एआई का उपयोग कर रही है। 2021 में वापस, Google में उसने और उसके सहयोगियों ने एक गैर-एलएलएम एआई प्रणाली का निर्माण किया, जो यह तय कर सकता था कि दक्षता का अनुकूलन करने के लिए कंप्यूटर चिप पर विभिन्न घटकों को कहां रखा जाए। हालांकि कुछ अन्य शोधकर्ता अध्ययन के परिणामों को दोहराने में विफल रहे, मिरहोसिनी का कहना है कि प्रकृति पेपर की जांच की और काम की वैधता को बरकरार रखा- और वह नोट करती है कि Google ने अपने कस्टम एआई चिप्स की कई पीढ़ियों के लिए सिस्टम के डिजाइनों का उपयोग किया है।

हाल ही में, Mirhosini ने Kernels, निम्न-स्तरीय फ़ंक्शन लिखने की समस्या के लिए LLMS को लागू किया है, जो यह नियंत्रित करते हैं कि विभिन्न संचालन, जैसे कि मैट्रिक्स गुणा, चिप्स में किए जाते हैं। उसने पाया कि सामान्य-उद्देश्य वाले एलएलएम भी, कुछ मामलों में, कर्नेल लिख सकते हैं जो मानव-डिज़ाइन किए गए संस्करणों की तुलना में तेजी से चलते हैं।

Google में कहीं और, वैज्ञानिकों ने एक प्रणाली का निर्माण किया, जिसका उपयोग वे कंपनी के एलएलएम बुनियादी ढांचे के विभिन्न हिस्सों को अनुकूलित करने के लिए करते थे। अल्फावोल्व नामक सिस्टम, Google के मिथुन एलएलएम को कुछ समस्या को हल करने के लिए एल्गोरिदम लिखने के लिए प्रेरित करता है, उन एल्गोरिदम का मूल्यांकन करता है, और मिथुन को सबसे सफल होने पर सुधार करने के लिए कहता है और उस प्रक्रिया को कई बार दोहराता है। Alphaevolve ने Google के 0.7% कम्प्यूटेशनल संसाधनों को सहेजने वाले डेटासेंटर को चलाने के लिए एक नया दृष्टिकोण तैयार किया, Google के कस्टम चिप डिज़ाइन में और सुधार किया, और एक नया कर्नेल डिज़ाइन किया जिसने मिथुन के प्रशिक्षण को 1% तक बढ़ाया।

यह एक छोटे से सुधार की तरह लग सकता है, लेकिन Google जैसी विशाल कंपनी में यह समय, धन और ऊर्जा की भारी बचत के बराबर है। और Google DeepMind के एक कर्मचारी अनुसंधान वैज्ञानिक Matej Balog, जिन्होंने अल्फेवोल्व प्रोजेक्ट का नेतृत्व किया, का कहना है कि उन्होंने और उनकी टीम ने मिथुन के समग्र प्रशिक्षण पाइपलाइन के केवल एक छोटे घटक पर प्रणाली का परीक्षण किया। इसे अधिक व्यापक रूप से लागू करते हुए, वे कहते हैं, अधिक बचत हो सकती है।

3। स्वचालित प्रशिक्षण

LLMS प्रसिद्ध डेटा भूखे हैं, और उन्हें प्रशिक्षित करना हर चरण में महंगा है। कुछ विशिष्ट डोमेन में-असामान्य प्रोग्रामिंग भाषाएं, उदाहरण के लिए- वास्तविक-दुनिया डेटा एलएलएम को प्रभावी ढंग से प्रशिक्षित करने के लिए बहुत दुर्लभ है। मानव प्रतिक्रिया के साथ सुदृढीकरण सीखना, एक तकनीक जिसमें मानव संकेतों के लिए एलएलएम प्रतिक्रियाएं स्कोर करता है और एलएलएम को उन स्कोर का उपयोग करके प्रशिक्षित किया जाता है, उन मॉडल बनाने के लिए महत्वपूर्ण है जो मानव मानकों और वरीयताओं के अनुरूप व्यवहार करते हैं, लेकिन मानव प्रतिक्रिया प्राप्त करना धीमा और महंगा है।

तेजी से, अंतराल में भरने के लिए एलएलएम का उपयोग किया जा रहा है। यदि बहुत सारे उदाहरणों के साथ संकेत दिया जाता है, तो एलएलएम डोमेन में प्रशंसनीय सिंथेटिक डेटा उत्पन्न कर सकते हैं जिसमें उन्हें प्रशिक्षित नहीं किया गया है, और उस सिंथेटिक डेटा का उपयोग तब प्रशिक्षण के लिए किया जा सकता है। सुदृढीकरण सीखने के लिए एलएलएम का भी प्रभावी ढंग से उपयोग किया जा सकता है: “एलएलएम के रूप में एक न्यायाधीश के रूप में” नामक एक दृष्टिकोण में, एलएलएमएस, मनुष्यों के बजाय, उन मॉडलों के आउटपुट को स्कोर करने के लिए उपयोग किया जाता है जिन्हें प्रशिक्षित किया जा रहा है। यह दृष्टिकोण 2022 में एन्थ्रोपिक शोधकर्ताओं द्वारा प्रस्तावित प्रभावशाली “संवैधानिक एआई” ढांचे के लिए महत्वपूर्ण है, जिसमें एक एलएलएम को दूसरे एलएलएम से प्रतिक्रिया के आधार पर कम हानिकारक होने के लिए प्रशिक्षित किया जाता है।

एआई एजेंटों के लिए डेटा की कमी एक विशेष रूप से तीव्र समस्या है। प्रभावी एजेंटों को विशेष कार्यों को पूरा करने के लिए मल्टीस्टेप प्लान करने में सक्षम होने की आवश्यकता है, लेकिन सफल चरण-दर-चरण कार्य पूरा होने के उदाहरण ऑनलाइन दुर्लभ हैं, और नए उदाहरणों को उत्पन्न करने के लिए मनुष्यों का उपयोग करना महंगा होगा। इस सीमा को पार करने के लिए, स्टैनफोर्ड के मिरहोसिनी और उनके सहयोगियों ने हाल ही में एक तकनीक का संचालन किया है जिसमें एक एलएलएम एजेंट किसी दिए गए समस्या के लिए एक संभावित चरण-दर-चरण दृष्टिकोण उत्पन्न करता है, एक एलएलएम न्यायाधीश मूल्यांकन करता है कि क्या प्रत्येक कदम मान्य है, और फिर एक नया एलएलएम एजेंट उन चरणों पर प्रशिक्षित है। “आप अब डेटा द्वारा सीमित नहीं हैं, क्योंकि मॉडल सिर्फ मनमाने ढंग से अधिक से अधिक अनुभव उत्पन्न कर सकता है,” मिरहोसिनी कहते हैं।

4। परफेक्टिंग एजेंट डिजाइन

एक क्षेत्र जहां एलएलएम ने अभी तक प्रमुख योगदान नहीं दिया है, वह स्वयं एलएलएमएस के डिजाइन में है। आज के एलएलएम एक ट्रांसफार्मर नामक एक तंत्रिका-नेटवर्क संरचना पर आधारित हैं, जिसे 2017 में मानव शोधकर्ताओं द्वारा प्रस्तावित किया गया था, और तब से उल्लेखनीय सुधार जो वास्तुकला में किए गए हैं, वे भी मानव-डिज़ाइन किए गए थे।