हालांकि, इस तरह की प्रणालियाँ विमुद्रीकरण और क्रेडिट के लिए समान अवसर प्रदान नहीं करती हैं, जैसा कि खोज इंजन ऐतिहासिक रूप से है। एआई मॉडल अपने आउटपुट उत्पन्न करने के लिए वेब पर डेटा का एक बड़ा सौदा आकर्षित करते हैं, लेकिन इन डेटा स्रोतों को अक्सर श्रेय नहीं दिया जाता है, रचनाकारों की अपने काम से पैसा बनाने की क्षमता को सीमित करता है। एआई-जनित उत्तरों को पेश करने वाले खोज इंजन में मूल स्रोतों के लिंक शामिल हो सकते हैं, लेकिन वे अन्य साइटों पर क्लिक करने में लोगों की रुचि को कम कर सकते हैं और यहां तक कि “शून्य-क्लिक” भविष्य में भी उपयोग कर सकते हैं।
“पारंपरिक रूप से, अनिर्दिष्ट समझौता यह था कि एक खोज इंजन आपकी सामग्री को अनुक्रमित कर सकता है, तो वे किसी विशेष क्वेरी के लिए प्रासंगिक लिंक दिखाते हैं और आपको अपनी वेबसाइट पर ट्रैफ़िक वापस भेजते हैं,” एलेन, एआई गोपनीयता, नियंत्रण और मीडिया उत्पादों के क्लाउडफ्लेयर के प्रमुख एलन ने एक ईमेल में लिखा है। एमआईटी प्रौद्योगिकी समीक्षा। “यह मौलिक रूप से बदल रहा है।”
आम तौर पर, निर्माता और प्रकाशक यह तय करना चाहते हैं कि उनकी सामग्री का उपयोग कैसे किया जाता है, यह उनके साथ कैसे जुड़ा होता है, और इसके लिए उन्हें कैसे भुगतान किया जाता है। CloudFlare का दावा है कि इसके ग्राहक अब AI जीवन चक्र (विशेष रूप से, प्रशिक्षण, ठीक-ट्यूनिंग, और अनुमान) और सफेद-सूची विशिष्ट सत्यापित क्रॉलर के प्रत्येक चरण के लिए रेंगने की अनुमति या अस्वीकार कर सकते हैं। ग्राहक यह भी एक दर निर्धारित कर सकते हैं कि उनकी वेबसाइट को क्रॉल करने के लिए एआई बॉट्स का कितना खर्च आएगा।
क्लाउडफ्लेयर से एक प्रेस विज्ञप्ति में, द एसोसिएटेड प्रेस और टाइम जैसी मीडिया कंपनियों और क्वोरा और स्टैक ओवरफ्लो जैसे मंचों ने इस कदम के लिए समर्थन किया। स्टैक ओवरफ्लो के सीईओ प्रशांत चंद्रशेकर ने विज्ञप्ति में कहा, “कम्युनिटी प्लेटफॉर्म जो ईंधन एलएलएम को उनके योगदान के लिए मुआवजा दिया जाना चाहिए ताकि वे अपने समुदायों में वापस निवेश कर सकें।”
क्रॉलर को किसी दिए गए वेबसाइट के निर्देशों (एक रोबोट.टैक्स फ़ाइल के माध्यम से प्रदान की गई) को यह निर्धारित करने के लिए माना जाता है कि क्या वे वहां क्रॉल कर सकते हैं, लेकिन कुछ एआई कंपनियों पर इन निर्देशों को अनदेखा करने का आरोप लगाया गया है।
CloudFlare में पहले से ही एक BOT सत्यापन प्रणाली है जहां AI वेब क्रॉलर वेबसाइटों को बता सकते हैं कि वे किसके लिए काम करते हैं और वे क्या करना चाहते हैं। इनके लिए, CloudFlare को उम्मीद है कि इसकी प्रणाली AI कंपनियों और वेबसाइट मालिकों के बीच अच्छी तरह से बातचीत की सुविधा प्रदान कर सकती है। कम ईमानदार क्रॉलर के लिए, CloudFlare ने अपने अनुभव का उपयोग करने की योजना बनाई है, जो उन्हें रोकने के लिए बॉट्स से समन्वित इनकार-सेवा हमलों से निपटने के लिए है।
“एक वेब क्रॉलर जो नवीनतम सामग्री की तलाश में इंटरनेट पर जा रहा है, बस एक और प्रकार का बॉट है – इसलिए स्पष्ट रूप से दुर्भावनापूर्ण बॉट्स के लिए ट्रैफ़िक और नेटवर्क पैटर्न को समझने के लिए हमारे सभी काम हमें यह समझने में मदद करते हैं कि एक क्रॉलर क्या कर रहा है,” एलन ने लिखा।
CloudFlare ने पहले से ही अवांछित क्रॉलर को रोकने के लिए अन्य तरीके विकसित किए थे, जैसे कि वेबसाइटों को उन्हें अपने प्रयासों को बर्बाद करने के लिए एआई-जनित नकली वेब पेजों का एक मार्ग भेजने की अनुमति दी गई थी। हालांकि यह दृष्टिकोण अभी भी वास्तव में बुरे अभिनेताओं के लिए लागू होगा, कंपनी का कहना है कि उसे उम्मीद है कि इसकी नई सेवाएं एआई कंपनियों और सामग्री उत्पादकों के बीच बेहतर संबंधों को बढ़ावा दे सकती हैं।
