विशेषज्ञों ने दुनिया में जारी किए जा रहे नए कृत्रिम बुद्धिमत्ता मॉडल की सुरक्षा और प्रभावशीलता की जांच के लिए इस्तेमाल किए गए सैकड़ों परीक्षणों में कमजोरियां पाई हैं, जिनमें से कुछ गंभीर हैं।
ब्रिटिश सरकार के एआई सुरक्षा संस्थान के कंप्यूटर वैज्ञानिकों और स्टैनफोर्ड, बर्कले और ऑक्सफोर्ड सहित विश्वविद्यालयों के विशेषज्ञों ने 440 से अधिक बेंचमार्क की जांच की जो एक महत्वपूर्ण सुरक्षा जाल प्रदान करते हैं।
उन्हें ऐसी खामियाँ मिलीं जो “परिणामी दावों की वैधता को कमजोर करती हैं”, कि “लगभग सभी … में कम से कम एक क्षेत्र में कमजोरियाँ हैं”, और परिणामी स्कोर “अप्रासंगिक या यहां तक कि भ्रामक” हो सकते हैं।
ऑक्सफोर्ड इंटरनेट इंस्टीट्यूट के शोधकर्ता और अध्ययन के प्रमुख लेखक एंड्रयू बीन ने कहा, बड़ी प्रौद्योगिकी कंपनियों द्वारा जारी नवीनतम एआई मॉडल का मूल्यांकन करने के लिए कई बेंचमार्क का उपयोग किया जाता है।
यूके और यूएस में राष्ट्रव्यापी एआई विनियमन की अनुपस्थिति में, बेंचमार्क का उपयोग यह जांचने के लिए किया जाता है कि क्या नए एआई सुरक्षित हैं, मानव हितों के अनुरूप हैं और तर्क, गणित और कोडिंग में उनकी दावा की गई क्षमताओं को प्राप्त करते हैं।
परीक्षणों की जांच एआई की सुरक्षा और प्रभावशीलता पर बढ़ती चिंता के बीच हो रही है, जिसे प्रतिस्पर्धी प्रौद्योगिकी कंपनियों द्वारा उच्च गति से जारी किया जा रहा है। कुछ लोगों को हाल ही में चरित्र हनन से लेकर आत्महत्या तक के नुकसान में योगदान देने के बाद एआई पर प्रतिबंध वापस लेने या कड़े करने के लिए मजबूर किया गया है।
बीन ने कहा, “मानदंड एआई में प्रगति के बारे में लगभग सभी दावों को रेखांकित करते हैं।” “लेकिन साझा परिभाषाओं और ध्वनि माप के बिना, यह जानना कठिन हो जाता है कि मॉडल वास्तव में सुधार कर रहे हैं या बस दिख रहे हैं।”
Google ने इस सप्ताह के अंत में अपने नवीनतम एआई, जेम्मा में से एक को वापस ले लिया, क्योंकि उसने एक अमेरिकी सीनेटर के बारे में समाचार कहानियों के फर्जी लिंक सहित राज्य के एक सैनिक के साथ गैर-सहमति से यौन संबंध बनाने के निराधार आरोप लगाए थे।
टेनेसी के रिपब्लिकन सीनेटर मार्शा ब्लैकबर्न ने गूगल के मुख्य कार्यकारी सुंदर पिचाई को एक पत्र में कहा, “ऐसा कोई आरोप कभी नहीं लगा है, ऐसा कोई व्यक्ति नहीं है, और ऐसी कोई नई कहानियाँ नहीं हैं।”
“यह कोई हानिरहित मतिभ्रम नहीं है। यह Google के स्वामित्व वाले AI मॉडल द्वारा निर्मित और वितरित मानहानि का कार्य है। एक सार्वजनिक रूप से सुलभ उपकरण जो एक मौजूदा अमेरिकी सीनेटर के बारे में झूठे आपराधिक आरोप लगाता है, वह निरीक्षण और नैतिक जिम्मेदारी की एक भयावह विफलता का प्रतिनिधित्व करता है।”
गूगल ने कहा कि उसके जेम्मा मॉडल एआई डेवलपर्स और शोधकर्ताओं के लिए बनाए गए थे, तथ्यात्मक सहायता या उपभोक्ताओं के लिए नहीं। इसने उन्हें “गैर-डेवलपर्स द्वारा उनका उपयोग करने की कोशिश करने की रिपोर्ट” के रूप में वर्णित किए जाने के बाद अपने एआई स्टूडियो प्लेटफ़ॉर्म से वापस ले लिया।
“मतिभ्रम – जहां मॉडल बस सभी प्रकार की चीजों के बारे में बातें बनाते हैं – और चाटुकारिता – जहां मॉडल उपयोगकर्ताओं को वही बताते हैं जो वे सुनना चाहते हैं – एआई उद्योग में चुनौतियां हैं, विशेष रूप से जेम्मा जैसे छोटे खुले मॉडल,” यह कहा। “हम मतिभ्रम को कम करने और अपने सभी मॉडलों में लगातार सुधार करने के लिए प्रतिबद्ध हैं।”
न्यूज़लेटर प्रमोशन के बाद
पिछले हफ्ते, लोकप्रिय चैटबॉट स्टार्टअप, कैरेक्टर.एआई ने किशोरों को अपने एआई चैटबॉट्स के साथ ओपन-एंडेड बातचीत में शामिल होने पर प्रतिबंध लगा दिया था। इसके बाद विवादों की एक शृंखला सामने आई, जिसमें फ्लोरिडा में एआई-संचालित चैटबॉट के प्रति जुनूनी होकर 14 साल के एक बच्चे ने खुद को मार डाला, जिसके बारे में उसकी मां ने दावा किया था कि उसने उसे अपनी जान लेने के लिए प्रेरित किया था, और एक किशोर के परिवार की ओर से अमेरिकी मुकदमा, जिसने दावा किया था कि एक चैटबॉट ने उसे खुद को नुकसान पहुंचाने के लिए प्रेरित किया और उसे अपने माता-पिता की हत्या करने के लिए प्रोत्साहित किया।
शोध में व्यापक रूप से उपलब्ध बेंचमार्क की जांच की गई लेकिन अग्रणी एआई कंपनियों के अपने आंतरिक बेंचमार्क भी हैं जिनकी जांच नहीं की गई।
यह निष्कर्ष निकाला गया कि “साझा मानकों और सर्वोत्तम प्रथाओं की तत्काल आवश्यकता” थी।
बीन ने कहा कि एक “चौंकाने वाली” खोज यह है कि बेंचमार्क के केवल एक छोटे से अल्पसंख्यक (16%) ने यह दिखाने के लिए अनिश्चितता अनुमान या सांख्यिकीय परीक्षणों का उपयोग किया कि बेंचमार्क के सटीक होने की कितनी संभावना है। अन्य मामलों में जहां एआई की विशेषताओं का मूल्यांकन करने के लिए बेंचमार्क निर्धारित किए गए हैं – उदाहरण के लिए इसकी “हानिरहितता” – जांच की जा रही अवधारणा की परिभाषा को चुनौती दी गई या गलत परिभाषित किया गया, जिससे बेंचमार्क कम उपयोगी हो गया।
