मुंबई, 5 अगस्त, (न्यूज़ हेल्पलाइन) इंटरनेट इन्फ्रास्ट्रक्चर कंपनी क्लाउडफ्लेयर ने आर्टिफिशियल इंटेलिजेंस स्टार्टअप पर्प्लेक्सिटी पर ऐसी गतिविधियों को स्पष्ट रूप से ब्लॉक करने वाली वेबसाइटों को स्क्रैप करने का आरोप लगाया है, जिससे एआई डेटा संग्रह प्रथाओं की नैतिकता और पारदर्शिता पर एक नई बहस छिड़ गई है। सोमवार को प्रकाशित एक ब्लॉग पोस्ट में, क्लाउडफ्लेयर ने कहा कि उसने पर्प्लेक्सिटी को अपनी पहचान छिपाकर वेबसाइट प्रतिबंधों को दरकिनार करते हुए देखा है। कंपनी ने दावा किया कि पर्प्लेक्सिटी का क्रॉलर "वेब मानकों की अनदेखी" कर रहा था और अपने यूज़र एजेंट, यानी किसी वेबसाइट के ब्राउज़र की पहचान करने वाले कोड को बदलने और पहचान को बायपास करने के लिए कई नेटवर्क एड्रेस का इस्तेमाल करने जैसे तरीकों से "अपनी पहचान छिपा रहा था"।
क्लाउडफ्लेयर ने कहा, "यह गतिविधि हज़ारों डोमेन और प्रतिदिन लाखों अनुरोधों में देखी गई।" इन्फ्रास्ट्रक्चर दिग्गज ने कहा कि उसने इस गतिविधि के स्रोत की पुष्टि करने के लिए मशीन लर्निंग और नेटवर्क सिग्नल का इस्तेमाल किया था, जिसमें macOS पर Google Chrome जैसे वैध ब्राउज़रों का प्रतिरूपण करना भी शामिल था।
क्लाउडफ्लेयर के अनुसार, यह व्यवहार पहली बार तब सामने आया जब कई ग्राहकों ने शिकायत की कि पर्प्लेक्सिटी उनकी वेबसाइट्स को क्रॉल कर रही थी, जबकि उन्होंने ऐसी गतिविधियों को रोकने के लिए अपनी robots.txt फ़ाइलों में विशिष्ट नियम जोड़े थे। कंपनी ने तब से Perplexity के बॉट्स को अपनी सत्यापित सूची से हटा दिया है और उन्हें ब्लॉक करने के लिए नए उपाय लागू किए हैं।
हालांकि, Perplexity ने इन दावों का खंडन किया है और इन्हें "बिक्री का प्रलोभन" बताया है और तर्क दिया है कि Cloudflare बुनियादी तौर पर आधुनिक AI सहायकों के काम करने के तरीके को गलत समझता है।
कंपनी द्वारा साझा किए गए एक विस्तृत खंडन में, Perplexity ने तर्क दिया कि वह विशाल डेटा सेट बनाने के लिए पारंपरिक वेब क्रॉलिंग का उपयोग नहीं करता है। इसके बजाय, उसने कहा कि उसका प्लेटफ़ॉर्म "उपयोगकर्ता-संचालित एजेंट" का उपयोग करता है जो केवल तभी सामग्री प्राप्त करते हैं जब कोई व्यक्ति वास्तविक समय की जानकारी की आवश्यकता वाला प्रश्न पूछता है।
कंपनी ने स्पष्ट किया, "जब Perplexity किसी वेबपेज को प्राप्त करता है, तो ऐसा इसलिए होता है क्योंकि कोई उपयोगकर्ता कोई विशिष्ट प्रश्न पूछता है," और इस बात पर ज़ोर दिया कि प्राप्त डेटा को संग्रहीत नहीं किया जाता है या AI मॉडल के प्रशिक्षण के लिए उपयोग नहीं किया जाता है।
Perplexity ने Cloudflare पर एक तृतीय-पक्ष सेवा, BrowserBase से स्वचालित ट्रैफ़िक को अपने सिस्टम पर गलत तरीके से आरोपित करने का भी आरोप लगाया। उसने दावा किया कि इस सेवा से ट्रैफ़िक का केवल एक छोटा सा हिस्सा ही आता है और सामान्य वेब स्क्रैपिंग के लिए इसका उपयोग करने से इनकार किया। "यह एक बुनियादी ट्रैफ़िक विश्लेषण विफलता है," पेरप्लेक्सिटी ने क्लाउडफ्लेयर पर गलत आरेख और भ्रामक जानकारी प्रकाशित करने का आरोप लगाते हुए कहा।
यह विवाद खुले वेब डेटा पर निर्भर रहने वाली एआई कंपनियों और अपनी सामग्री के उपयोग को नियंत्रित करने की कोशिश कर रहे वेबसाइट संचालकों के बीच बढ़ते तनाव को उजागर करता है। जैसे-जैसे एआई उपकरण अधिक परिष्कृत होते जा रहे हैं और वास्तविक समय की जानकारी पर निर्भर होते जा रहे हैं, मददगार डिजिटल सहायक और अवांछित बॉट के बीच की रेखा तेज़ी से धुंधली होती जा रही है।
क्लाउडफ्लेयर ने पेरप्लेक्सिटी के नवीनतम बयानों पर कोई प्रतिक्रिया नहीं दी है, और इस विवाद से एआई डेटा एक्सेस और नैतिक वेब स्क्रैपिंग के बारे में स्पष्ट दिशानिर्देशों की आवश्यकता पर आगे की चर्चा को बढ़ावा मिलने की संभावना है।