अपने लैपटॉप पर एक एलएलएम कैसे चलाएं

पिस्टिली के लिए, ऑनलाइन चैटबॉट्स के विपरीत स्थानीय मॉडल के लिए चयन करना गोपनीयता से परे निहितार्थ है। “प्रौद्योगिकी का अर्थ है शक्ति,” वह कहती हैं। “और इसलिए जो (कभी) तकनीक का मालिक है, वह भी शक्ति का मालिक है।” राज्यों, संगठनों और यहां तक कि व्यक्तियों को अपने स्वयं के स्थानीय मॉडल चलाकर कुछ कंपनियों के हाथों में एआई शक्ति की एकाग्रता को बाधित करने के लिए प्रेरित किया जा सकता है।

बड़ी एआई कंपनियों से दूर जाने का मतलब यह भी है कि आपके एलएलएम अनुभव पर अधिक नियंत्रण होना। ऑनलाइन एलएलएम लगातार उपयोगकर्ताओं के पैरों के नीचे शिफ्ट हो रहे हैं: अप्रैल में वापस, चैट ने अचानक उपयोगकर्ताओं को पहले की तुलना में कहीं अधिक चूसना शुरू कर दिया, और पिछले हफ्ते ग्रोक ने खुद को एक्स पर मेचहिटलर कहना शुरू कर दिया।

प्रदाता अपने मॉडल को थोड़ी चेतावनी के साथ ट्विक करते हैं, और जबकि वे ट्वीक कभी -कभी मॉडल प्रदर्शन में सुधार कर सकते हैं, वे अवांछनीय व्यवहार भी पैदा कर सकते हैं। स्थानीय LLMs में उनके quirks हो सकते हैं, लेकिन कम से कम वे सुसंगत हैं। एकमात्र व्यक्ति जो आपके स्थानीय मॉडल को बदल सकता है, आप हैं।

बेशक, कोई भी मॉडल जो एक व्यक्तिगत कंप्यूटर पर फिट हो सकता है, प्रमुख एआई कंपनियों से प्रमुख ऑनलाइन प्रसाद की तुलना में कम शक्तिशाली होने जा रहा है। लेकिन कमजोर मॉडलों के साथ काम करने के लिए एक लाभ है – वे आपको अपने बड़े साथियों की अधिक खतरनाक सीमाओं के खिलाफ टीका लगा सकते हैं। उदाहरण के लिए, छोटे मॉडल, क्लाउड, जीपीटी और मिथुन की तुलना में अधिक बार और अधिक स्पष्ट रूप से मतिभ्रम कर सकते हैं, और उन मतिभ्रम को देखने से आपको एक जागरूकता पैदा करने में मदद मिल सकती है कि बड़े मॉडल भी कैसे और कब झूठ बोल सकते हैं।

“स्थानीय मॉडल चलाना वास्तव में उस व्यापक अंतर्ज्ञान को विकसित करने के लिए वास्तव में एक अच्छा व्यायाम है जो ये चीजें कर सकते हैं,” विलिसन कहते हैं।

कैसे शुरू करें

स्थानीय LLMS केवल कुशल कोडर्स के लिए नहीं हैं। यदि आप अपने कंप्यूटर के कमांड-लाइन इंटरफ़ेस का उपयोग करने में सहज हैं, जो आपको फ़ाइलों को ब्राउज़ करने और टेक्स्ट प्रॉम्प्ट का उपयोग करके ऐप्स चलाने की अनुमति देता है, तो ओलामा एक बढ़िया विकल्प है। एक बार जब आप सॉफ़्टवेयर इंस्टॉल कर लेते हैं, तो आप एकल कमांड के साथ पेश किए जाने वाले सैकड़ों मॉडलों में से किसी को भी डाउनलोड और चला सकते हैं।

यदि आप कुछ भी नहीं छूना चाहते हैं जो कोड की तरह दिखता है, तो आप एलएम स्टूडियो के लिए चुन सकते हैं, एक उपयोगकर्ता के अनुकूल ऐप जो स्थानीय एलएलएम चलाने से बहुत अधिक अनुमान लगाते हैं। आप ऐप के भीतर दाईं ओर से चेहरे को गले लगाने से मॉडल ब्राउज़ कर सकते हैं, जो आपको सही विकल्प बनाने में मदद करने के लिए बहुत सारी जानकारी प्रदान करता है। कुछ लोकप्रिय और व्यापक रूप से उपयोग किए जाने वाले मॉडल को “स्टाफ पिक्स” के रूप में टैग किया जाता है, और प्रत्येक मॉडल को उसके अनुसार लेबल किया जाता है कि क्या यह पूरी तरह से आपकी मशीन के त्वरित जीपीयू पर चलाया जा सकता है, आपके जीपीयू और धीमी सीपीयू के बीच साझा करने की आवश्यकता है, या आपके डिवाइस पर फिट होने के लिए बहुत बड़ा है। एक बार जब आप एक मॉडल चुन लेते हैं, तो आप इसे डाउनलोड कर सकते हैं, इसे लोड कर सकते हैं, और ऐप के चैट इंटरफ़ेस का उपयोग करके इसके साथ बातचीत शुरू कर सकते हैं।

जैसा कि आप विभिन्न मॉडलों के साथ प्रयोग करते हैं, आप इस बात के लिए महसूस करना शुरू कर देंगे कि आपकी मशीन क्या संभाल सकती है। विलिसन के अनुसार, प्रत्येक अरब मॉडल मापदंडों को चलाने के लिए लगभग एक जीबी रैम की आवश्यकता होती है, और मैंने पाया कि सटीक होने के लिए सटीक: मेरा अपना 16 जीबी लैपटॉप अलीबाबा के क्यूवेन 3 14 बी को चलाने में कामयाब रहा, जब तक कि मैं लगभग हर दूसरे ऐप को छोड़ देता हूं। यदि आप गति या प्रयोज्य के साथ मुद्दों में भाग लेते हैं, तो आप हमेशा छोटे हो सकते हैं – मुझे Qwen3 8B से भी उचित प्रतिक्रियाएं मिलीं।