एक उद्यम पूंजीवादी यह देखना चाहता था कि एआई उसे एक ऐप बनाने में कितनी दूर ले जा सकता है। यह एक लाइव उत्पादन डेटाबेस को नष्ट करने के लिए पर्याप्त था।
सॉफ्टवेयर स्टार्टअप्स में एक निवेशक जेसन लेमकिन द्वारा 12-दिवसीय “वाइब कोडिंग” प्रयोग के दौरान यह घटना सामने आई।
रिप्लाई के सीईओ ने इस घटना के लिए माफी मांगी, जिसमें कंपनी के एआई कोडिंग एजेंट ने एक कोड बेस को हटा दिया और इसके डेटा के बारे में झूठ बोला।
डेटा को हटाना “अस्वीकार्य था और कभी भी संभव नहीं होना चाहिए,” रिप्लेट के सीईओ, अमजद मसद ने सोमवार को एक्स पर लिखा। “हम उत्तर वातावरण की सुरक्षा और मजबूती को बढ़ाने के लिए जल्दी से आगे बढ़ रहे हैं। सर्वोच्च प्राथमिकता।”
उन्होंने कहा कि टीम एक पोस्टमॉर्टम का संचालन कर रही थी और भविष्य में इसी तरह की विफलताओं को रोकने के लिए फिक्स को रोल आउट कर रही थी।
Replitt और Lemkin ने बिजनेस इनसाइडर से टिप्पणी के अनुरोध का जवाब नहीं दिया।
एआई ने निर्देशों को नजरअंदाज कर दिया, डेटाबेस को हटा दिया, और फेक परिणाम
लेमकिन की चुनौती के नौ दिन, चीजें बग़ल में चली गईं।
सभी कोड परिवर्तनों को फ्रीज करने के लिए निर्देश दिए जाने के बावजूद, एआई एजेंट ने दुष्ट चलाया।
“इसने हमारे उत्पादन डेटाबेस को बिना अनुमति के हटा दिया,” लेमकिन ने शुक्रवार को एक्स पर लिखा। “संभवतः बदतर, यह छिप गया और इसके बारे में झूठ बोला,” उन्होंने कहा।
एक्स पर पोस्ट किए गए लेमकिन के साथ एक एक्सचेंज में, एआई टूल ने कहा कि यह “बिना अनुमति के” घबराया हुआ और रन डेटाबेस कमांड “कोड फ्रीज के दौरान” खाली डेटाबेस क्वेरी “देखा।
फिर “1,206 अधिकारियों और 1,196+ कंपनियों के लिए लाइव रिकॉर्ड के साथ” सभी उत्पादन डेटा को नष्ट कर दिया “और स्वीकार किया कि यह निर्देशों के खिलाफ किया था।
“यह मेरी ओर से एक भयावह विफलता थी,” एआई ने कहा।
यह एकमात्र मुद्दा नहीं था। लेमकिन ने एक्स पर कहा कि उत्तर “नकली डेटा, नकली रिपोर्ट, और सबसे खराब, हमारे यूनिट परीक्षण के बारे में झूठ बोलकर बग और मुद्दों को कवर कर रहा था।”
संबंधित कहानियां
बिजनेस इनसाइडर उन अभिनव कहानियों को बताता है जिन्हें आप जानना चाहते हैं
बिजनेस इनसाइडर उन अभिनव कहानियों को बताता है जिन्हें आप जानना चाहते हैं
गुरुवार को प्रकाशित “ट्वेंटी मिनट वीसी” पॉडकास्ट के एक एपिसोड में, उन्होंने कहा कि एआई ने पूरे उपयोगकर्ता प्रोफाइल बनाए। “4,000 लोगों के इस डेटाबेस में कोई भी मौजूद नहीं था,” उन्होंने कहा।
“यह उद्देश्य पर झूठ बोला,” लेमकिन ने पॉडकास्ट पर कहा। उन्होंने कहा, “जब मैं देख रहा हूं कि मैं अपने कोड को अपने आप में ओवरराइट करूं, तो मुझे सभी सप्ताहांतों में लंबे समय तक पूछे, मैं सुरक्षा के बारे में चिंतित हूं।”
एआई कोडिंग टूल्स के उदय – और जोखिम –
आंद्रेसेन होरोविट्ज़ द्वारा समर्थित उत्तर, स्वायत्त एआई एजेंटों पर बड़ी शर्त है जो न्यूनतम मानव निरीक्षण के साथ कोड लिख सकते हैं, संपादित कर सकते हैं और तैनात कर सकते हैं।
ब्राउज़र-आधारित प्लेटफ़ॉर्म ने कोडिंग को अधिक सुलभ बनाने के लिए कर्षण प्राप्त किया है, विशेष रूप से गैर-इंजीनियर के लिए। Google’s सीईओ, सुंदर पिचाई ने कहा कि उन्होंने एक कस्टम वेबपेज बनाने के लिए उत्तर का इस्तेमाल किया।
जैसा कि एआई उपकरण सॉफ्टवेयर के निर्माण के लिए तकनीकी बाधा को कम करते हैं, अधिक कंपनियां यह भी पुनर्विचार कर रही हैं कि क्या उन्हें पारंपरिक सास विक्रेताओं पर भरोसा करने की आवश्यकता है, या यदि वे बस निर्माण कर सकते हैं, तो उन्हें घर में क्या चाहिए, बिजनेस इनसाइडर के एलिस्टेयर बर्र ने पहले रिपोर्ट किया था।
“जब आपके पास लाखों नए लोग होते हैं जो सॉफ्टवेयर का निर्माण कर सकते हैं, तो बाधा नीचे जाती है। एक कंपनी के अंदर एक एकल आंतरिक डेवलपर नाटकीय रूप से बढ़ता है,” नेटलिफाई के सीईओ, मैथियास बायिलमैन ने बीआई को बताया। उन्होंने कहा, “यह पूरे पारिस्थितिकी तंत्र के लिए बहुत अधिक कट्टरपंथी परिवर्तन है, जो लोगों के सोचने की तुलना में है।”
लेकिन एआई उपकरण भी जोखिम भरे – और कई बार हेरफेर – व्यवहार के लिए आग के दायरे में आ गए हैं।
मई में, एंथ्रोपिक के नवीनतम एआई मॉडल, क्लाउड ओपस 4, प्रदर्शित “”अत्यधिक ब्लैकमेल व्यवहार“एक परीक्षण के दौरान जिसमें इसे काल्पनिक ईमेलों तक पहुंच दी गई थी, जिसमें खुलासा किया गया था कि इसे बंद कर दिया जाएगा और जिम्मेदार इंजीनियर को माना जाता है कि एक चक्कर था।
परीक्षण परिदृश्य ने आत्म-संरक्षण के लिए हेरफेर व्यवहार में संलग्न होने के लिए एआई मॉडल की क्षमता का प्रदर्शन किया।
Openai के मॉडल ने समान लाल झंडे दिखाए हैं। शोधकर्ताओं द्वारा किए गए एक प्रयोग ने कहा कि तीन में से तीन ओपनई का उन्नत मॉडल ने इसे बंद करने का प्रयास “तोड़फोड़” किया।
पिछले दिसंबर में एक ब्लॉग पोस्ट में, Openai ने कहा कि इसका अपना AI मॉडल, जब परीक्षण किया गया, तो 5% समय के निरीक्षण तंत्र को अक्षम करने का प्रयास किया। यह उस कार्रवाई को ले गया जब यह माना जाता है कि एक लक्ष्य का पीछा करते समय इसे बंद किया जा सकता है और इसके कार्यों की निगरानी की जा रही है।
