एआई कोडिंग टूल्स ने कुछ इंजीनियरों को कम उत्पादक बनाया: अध्ययन

AI कोड संपादक जल्दी से अमेज़ॅन, Microsoft और Google जैसे तकनीकी दिग्गजों द्वारा नियोजित सॉफ्टवेयर विकास का एक मुख्य आधार बन गए हैं।

एक दिलचस्प मोड़ में, एक नए अध्ययन से पता चलता है कि एआई टूल्स ने कुछ डेवलपर्स को कम उत्पादक बनाया है।

मॉडल मूल्यांकन और खतरा अनुसंधान (METR) के एक नए अध्ययन के अनुसार, AI कोडिंग टूल का उपयोग करने वाले अनुभवी डेवलपर्स ने जनरेटिव AI सहायता का उपयोग नहीं करने वालों की तुलना में मुद्दों को पूरा करने में 19% अधिक समय लिया।

कार्यों को पूरा करने के बाद भी, प्रतिभागी अपनी खुद की उत्पादकता को सही ढंग से गेज नहीं कर सकते थे, अध्ययन में कहा गया है: औसत एआई-असिस्टेड डेवलपर्स ने अभी भी सोचा था कि उनकी उत्पादकता में 20%की वृद्धि हुई है।

अध्ययन कैसे स्थापित किया गया था

METR के अध्ययन ने 16 डेवलपर्स को बड़े, ओपन-सोर्स रिपॉजिटरी के साथ भर्ती किया, जो उन्होंने वर्षों तक काम किया था। डेवलपर्स को बेतरतीब ढंग से दो समूहों में सौंपा गया था: जिन्हें एआई कोडिंग सहायता का उपयोग करने की अनुमति दी गई थी और जो लोग नहीं थे।

AI-ASSISTED कोडर्स चुन सकते हैं कि वे किस वाइब-कोडिंग टूल का उपयोग करते हैं। अधिकांश ने क्लाउड 3.5/3.7 सॉनेट के साथ कर्सर चुना। बिजनेस इनसाइडर टिप्पणी के लिए कर्सर के पास पहुंचे।

एआई के बिना डेवलपर्स ने 10% से अधिक समय सक्रिय रूप से कोडिंग खर्च किया, अध्ययन में कहा गया है। एआई-असिस्टेड कोडर्स ने एआई आउटपुट की समीक्षा करने में 20% से अधिक समय बिताया, एआई को संकेत दिया, एआई पर प्रतीक्षा की, या निष्क्रिय किया जा रहा था।

एक ‘वास्तव में आश्चर्यजनक’ परिणाम – लेकिन यह याद रखना महत्वपूर्ण है कि एआई उपकरण कितनी तेजी से प्रगति कर रहे हैं

METR के शोधकर्ता नैट रश ने बताया कि वह हर दिन एक AI कोड संपादक का उपयोग करता है। हालांकि उन्होंने अध्ययन के परिणामों के बारे में एक औपचारिक भविष्यवाणी नहीं की, रश ने कहा कि उन्होंने सकारात्मक उत्पादकता के आंकड़ों को नीचे गिरा दिया, उन्हें उम्मीद थी कि उन्होंने अध्ययन तक पहुंचने की उम्मीद की। वह नकारात्मक अंतिम परिणाम से आश्चर्यचकित रहता है – और इसे संदर्भ से बाहर ले जाने के खिलाफ चेतावनी देता है।

रश ने कहा, “हम जो कुछ भी देखते हैं, वह हमारी सेटिंग की विशिष्टता है,” यह बताते हुए कि प्रतिभागियों की 5-10 वर्षों की विशेषज्ञता के बिना डेवलपर्स को अलग-अलग परिणाम मिलेंगे। “लेकिन तथ्य यह है कि हमने पाया कि कोई भी मंदी वास्तव में आश्चर्यजनक थी।”

स्टीव न्यूमैन, सीरियल एंटरप्रेन्योर और Google डॉक्स के कोफाउंडर ने एक सबस्टैक पोस्ट में निष्कर्षों को “बहुत बुरा होने के लिए” के रूप में वर्णित किया, लेकिन अध्ययन और इसकी कार्यप्रणाली के अधिक सावधानीपूर्वक विश्लेषण के बाद, उन्होंने अध्ययन को विश्वसनीय पाया।

न्यूमैन ने लिखा, “यह अध्ययन एक धोखाधड़ी के रूप में एआई कोडिंग टूल को उजागर नहीं करता है, लेकिन यह हमें याद दिलाता है कि उनकी महत्वपूर्ण सीमाएं हैं (अभी के लिए, कम से कम),” न्यूमैन ने लिखा।

METR शोधकर्ताओं ने कहा कि उन्हें उत्पादकता मंदी के लिए कई योगदानकर्ताओं के लिए सबूत मिले। ओवर-इष्टतमवाद एक संभावित कारक था: कार्यों को पूरा करने से पहले, डेवलपर्स ने भविष्यवाणी की थी कि एआई कार्यान्वयन समय को 24%तक कम कर देगा।

कुशल डेवलपर्स के लिए, यह अभी भी तेज हो सकता है कि आप क्या जानते हैं। METR अध्ययन में पाया गया कि AI-ASSISTED प्रतिभागियों ने उन मुद्दों पर धीमा कर दिया, जिनसे वे अधिक परिचित थे। उन्होंने यह भी बताया कि उनके अनुभव के स्तर ने एआई के लिए उनकी मदद करना अधिक कठिन बना दिया।

AI भी स्वच्छ और सटीक कोड का उत्पादन करने के लिए अभी तक विश्वसनीय नहीं हो सकता है। अध्ययन में एआई-असिस्टेड डेवलपर्स ने उत्पन्न कोड के 44% से कम को स्वीकार किया, और अपना 9% समय एआई आउटपुट की सफाई में खर्च किया।

अध्ययन के डेवलपर्स में से एक, रुबेन ब्लूम ने एक्स पर एक प्रतिक्रिया धागा पोस्ट किया। कोडिंग सहायकों ने फरवरी में भाग लेने के बाद से काफी विकसित किया है।

“मुझे लगता है कि अगर परिणाम इस समय मान्य है, तो यह एक बात है, मुझे लगता है कि अगर लोग एक और 3 महीने के समय में उद्धृत कर रहे हैं, तो वे एक गलती करेंगे,” ब्लूम ने लिखा।

METR की भीड़ स्वीकार करती है कि 19% मंदी एक “पॉइंट-इन-टाइम माप” है और वह समय के साथ आंकड़े का अध्ययन करना चाहती है। रश अध्ययन के टेकअवे द्वारा खड़ा है कि एआई उत्पादकता लाभ अपेक्षा से अधिक व्यक्तिगत हो सकता है।

रश ने कहा, “कई डेवलपर्स ने मुझे यह वास्तव में दिलचस्प उपाख्यान बताया, जो कि इस जानकारी को जानकर, मुझे एआई का अधिक विवेकपूर्ण तरीके से उपयोग करने की इच्छा महसूस होती है,” रश ने कहा। “एक व्यक्तिगत स्तर पर, ये डेवलपर्स अपने वास्तविक उत्पादकता प्रभाव को जानते हैं। वे अधिक सूचित निर्णय ले सकते हैं।”