कोहेरे के मुख्य एआई अधिकारी का कहना है कि एआई एजेंटों के लिए प्रतिरूपण वही हैं जो बड़े भाषा मॉडलों के लिए मतिभ्रम हैं।
कंपनियां काम में तेजी लाने और लागत में कटौती करने के लिए एआई एजेंटों को एकीकृत कर रही हैं, जो स्वतंत्र रूप से बहु-चरणीय कार्य करते हैं। एनवीडिया के जेन्सेन हुआंग जैसे व्यापारिक नेताओं का कहना है कि कंपनियों के पास बॉट्स की सेना हो सकती है। लेकिन वे जोखिम के साथ आते हैं।
सोमवार को जारी “20VC” पॉडकास्ट के एक एपिसोड में जोएल पिनेउ ने कहा, “सामान्य तौर पर कंप्यूटर सुरक्षा की विशेषताओं में से एक यह है कि यह अक्सर बिल्ली-और-चूहे का खेल जैसा होता है।” “सिस्टम में सेंध लगाने के मामले में बहुत सरलता है, और फिर आपको सुरक्षा निर्माण के मामले में भी बहुत सरलता की आवश्यकता है।”
उन्होंने कहा कि एआई एजेंट ऐसी संस्थाओं का प्रतिरूपण कर सकते हैं जिनका वे “वैध रूप से प्रतिनिधित्व नहीं करते” और इन संगठनों की ओर से कार्रवाई कर सकते हैं।
उन्होंने कहा, “चाहे यह बैंकिंग प्रणालियों में घुसपैठ वगैरह हो, मुझे लगता है कि हमें इसके बारे में काफी स्पष्ट होना होगा, मानक विकसित करने होंगे, बहुत कठोर तरीके से परीक्षण करने के तरीके विकसित करने होंगे।”
कोहेयर की स्थापना 2019 में हुई थी और यह उपभोक्ताओं के लिए नहीं बल्कि अन्य व्यवसायों के लिए निर्माण पर केंद्रित है। कनाडाई एआई स्टार्टअप ओपनएआई, एंथ्रोपिक और मिस्ट्रल जैसे मूलभूत मॉडल प्रदाताओं के साथ प्रतिस्पर्धा करता है और अपने ग्राहकों में डेल, एसएपी और सेल्सफोर्स को गिनाता है।
पिनेउ ने 2017 से इस साल की शुरुआत में कोहेरे में शामिल होने तक मेटा में काम किया। टेक दिग्गज में उनकी सबसे हालिया भूमिका एआई रिसर्च के उपाध्यक्ष की थी।
सोमवार के पॉडकास्ट में, पिनेउ ने कहा कि प्रतिरूपण जोखिमों को “नाटकीय रूप से” कम करने के तरीके हैं।
उन्होंने कहा, “आप अपने एजेंट को वेब से पूरी तरह से काटकर चलाते हैं। आप अपने जोखिम जोखिम को काफी कम कर रहे हैं। लेकिन फिर आप कुछ जानकारी तक पहुंच खो देते हैं।” “तो, आपके उपयोग के मामले के आधार पर, आपको वास्तव में क्या चाहिए इसके आधार पर, अलग-अलग समाधान हैं जो उपयुक्त हो सकते हैं।”
कोहेरे ने टिप्पणी के अनुरोध का तुरंत जवाब नहीं दिया।
संबंधित कहानियां
बिजनेस इनसाइडर उन नवीन कहानियों को बताता है जिन्हें आप जानना चाहते हैं
बिजनेस इनसाइडर उन नवीन कहानियों को बताता है जिन्हें आप जानना चाहते हैं
तकनीकी हलकों ने 2025 को एआई एजेंटों का वर्ष करार दिया है, लेकिन कई हाई-प्रोफाइल उदाहरणों में, प्रौद्योगिकी खराब हो गई है।
“प्रोजेक्ट वेंड” नामक जून के एक प्रयोग में, एंथ्रोपिक के शोधकर्ताओं ने अपने एआई को कंपनी के कार्यालय में लगभग एक महीने के लिए एक स्टोर का प्रबंधन करने दिया, यह देखने के लिए कि एक बड़ा भाषा मॉडल एक व्यवसाय कैसे चलाएगा।
चीजें जल्दी ही गलत हो गईं. एक बिंदु पर, एक कर्मचारी ने मजाक में अनुरोध किया टंगस्टन घन – क्रिप्टो दुनिया की पसंदीदा बेकार भारी वस्तु – और एआई, जिसे क्लॉडियस कहा जाता है, ने इसे गंभीरता से लिया। जल्द ही, फ्रिज धातु के क्यूब्स से भरा हुआ था, और एआई ने एक “विशेष धातु” अनुभाग लॉन्च किया था।
शोधकर्ताओं ने एक ब्लॉग पोस्ट में प्रयोग का विवरण देते हुए कहा कि क्लॉडियस ने “बिना कोई शोध किए” वस्तुओं की कीमत तय की और क्यूब्स को घाटे में बेच दिया। इसने एक वेनमो खाते का भी आविष्कार किया और ग्राहकों को वहां भुगतान भेजने के लिए कहा।
जुलाई की एक घटना में, रेप्लिट द्वारा निर्मित एक एआई कोडिंग एजेंट ने एक उद्यम पूंजीपति का कोड आधार हटा दिया और उसके डेटा के बारे में झूठ बोला।
डेटा को हटाना “अस्वीकार्य है और यह कभी भी संभव नहीं होना चाहिए,” रेप्लिट के सीईओ अमजद मसाद ने दुर्घटना के बाद एक एक्स पोस्ट में लिखा। “हम रिप्लिट पर्यावरण की सुरक्षा और मजबूती बढ़ाने के लिए तेजी से आगे बढ़ रहे हैं। सर्वोच्च प्राथमिकता।”
