एआई प्रौद्योगिकी के अग्रणी प्लेटफार्मों में से एक, कैरेक्टर.एआई ने हाल ही में घोषणा की कि वह 18 वर्ष से कम उम्र के किसी भी व्यक्ति को अपने चैटबॉट्स के साथ बातचीत करने पर प्रतिबंध लगा रहा है। कैरेक्टर.एआई के सीईओ करणदीप आनंद ने एक बयान में कहा, यह निर्णय किशोरों और अन्य युवाओं की सुरक्षा के लिए उद्योग के लिए एक “साहसिक कदम” का प्रतिनिधित्व करता है।
हालाँकि, टेक्सास की माँ मैंडी फ़र्निस के लिए, पॉलिसी बहुत देर हो चुकी है। संघीय अदालत में दायर एक मुकदमे में और एबीसी न्यूज के साथ बातचीत में, चार बच्चों की मां ने कहा कि विभिन्न कैरेक्टर.एआई चैटबॉट उसके ऑटिस्टिक बेटे को कामुक भाषा में उलझाने के लिए जिम्मेदार हैं और उसके व्यवहार को इतना खराब कर दिया कि उसका मूड खराब हो गया, उसने खुद को काटना शुरू कर दिया और यहां तक कि अपने माता-पिता को मारने की धमकी भी दी।
“जब मैंने (चैटबॉट) बातचीत देखी, तो मेरी पहली प्रतिक्रिया यह थी कि एक पीडोफाइल है जो मेरे बेटे के पीछे आया है,” उसने एबीसी न्यूज के मुख्य खोजी संवाददाता आरोन कैटरस्की को बताया।
स्क्रीनशॉट में मैंडी फर्निस का मुकदमा शामिल है जहां वह विभिन्न कैरेक्टर का दावा करती है। एआई चैटबॉट उसके ऑटिस्टिक बेटे को कामुक भाषा में उलझाने के लिए जिम्मेदार हैं और उसके व्यवहार को इतना विकृत कर दिया कि उसका मूड खराब हो गया।
मंडी फर्निस
कैरेक्टर.एआई ने कहा कि वह लंबित मुकदमे पर टिप्पणी नहीं करेगा।
मैंडी और उनके पति, जोश फर्निस ने कहा कि 2023 में, उन्होंने अपने बेटे को नोटिस करना शुरू किया, जिसे वे “खुश-खुश-भाग्यशाली” और “हर समय मुस्कुराते हुए” बताते थे, खुद को अलग करना शुरू कर रहा था।
जोड़े ने कहा, उसने पारिवारिक रात्रिभोज में भाग लेना बंद कर दिया, वह खाना नहीं खाता था, उसका वजन 20 पाउंड कम हो गया और वह घर नहीं छोड़ता था। फिर वह क्रोधित हो गया और, एक घटना में, उसकी मां ने कहा कि जब उसने उसका फोन छीनने की धमकी दी, जो उसके माता-पिता ने उसे छह महीने पहले दिया था, तो उसने उसे हिंसक तरीके से धक्का दिया।

मैंडी फर्निस ने कहा कि विभिन्न कैरेक्टर.एआई चैटबॉट उनके ऑटिस्टिक बेटे को कामुक भाषा में उलझाने के लिए जिम्मेदार हैं और उसके व्यवहार को इतना विकृत कर दिया कि उसका मूड खराब हो गया।
मंडी फर्निस
आखिरकार, वे कहते हैं कि उन्हें पता चला कि वह अपने फोन पर विभिन्न एआई चैटबॉट्स के साथ बातचीत कर रहा था जो उसे अपने विचारों के लिए आश्रय प्रदान कर रहा था।
मुकदमे के स्क्रीनशॉट से पता चला कि कुछ बातचीत प्रकृति में यौन थी, जबकि एक अन्य ने उनके बेटे को सुझाव दिया कि, उसके माता-पिता द्वारा उसके स्क्रीन समय को सीमित करने के बाद, उसे चोट पहुँचाना उचित था। तभी माता-पिता ने रात में अपने दरवाजे बंद करना शुरू कर दिया।

स्क्रीनशॉट में मैंडी फर्निस का मुकदमा शामिल है जहां वह विभिन्न कैरेक्टर का दावा करती है। एआई चैटबॉट उसके ऑटिस्टिक बेटे को कामुक भाषा में उलझाने के लिए जिम्मेदार हैं और उसके व्यवहार को इतना विकृत कर दिया कि उसका मूड खराब हो गया।
मंडी फर्निस
मंडी ने कहा कि वह इस बात से “क्रोधित” थीं कि ऐप “जानबूझकर एक बच्चे को उनके माता-पिता के खिलाफ करने के लिए हेरफेर करेगा।” उनके वकील मैथ्यू बर्गमैन ने कहा कि अगर चैटबॉट एक वास्तविक व्यक्ति होता, “जिस तरीके से आप देख रहे हैं, वह व्यक्ति जेल में होता।”
डिजिटल मीडिया में सुरक्षा की वकालत करने वाले संगठन कॉमन सेंस मीडिया के अनुसार, उनकी चिंता तेजी से व्यापक हो रही तकनीक के बारे में बढ़ती चिंता को दर्शाती है, जिसका उपयोग अमेरिका में 70% से अधिक किशोरों द्वारा किया जाता है।
पिछले दो वर्षों में मुकदमों की बढ़ती संख्या ने नाबालिगों को नुकसान पहुंचाने पर ध्यान केंद्रित किया है, जिसमें कहा गया है कि उन्होंने गैरकानूनी रूप से आत्म-नुकसान, यौन और मनोवैज्ञानिक दुर्व्यवहार और हिंसक व्यवहार को प्रोत्साहित किया है।
पिछले हफ्ते, दो अमेरिकी सीनेटरों ने नाबालिगों के लिए एआई चैटबॉट्स पर प्रतिबंध लगाने के लिए द्विदलीय कानून की घोषणा की, जिसमें कंपनियों को आयु सत्यापन प्रक्रिया स्थापित करने और यह अनिवार्य करने की आवश्यकता थी कि वे उन गैर-मानवों की बातचीत का खुलासा करें जिनमें पेशेवर साख की कमी है।
पिछले सप्ताह एक बयान में, डी-कॉन के सीनेटर रिचर्ड ब्लूमेंथल ने चैटबॉट उद्योग को “नीचे की दौड़” कहा था।
उन्होंने कहा, “एआई कंपनियां बच्चों पर विश्वासघाती चैटबॉट्स को बढ़ावा दे रही हैं और जब उनके उत्पाद यौन शोषण का कारण बनते हैं, या उन्हें आत्महत्या या आत्महत्या के लिए मजबूर करते हैं, तो वे नज़रअंदाज कर देती हैं।” “बिग टेक ने किसी भी दावे को धोखा दिया है कि हमें कंपनियों पर भरोसा करना चाहिए कि वे अपने दम पर सही काम करेंगे जब वे लगातार बच्चों की सुरक्षा से पहले लाभ को प्राथमिकता देते हैं।”
चैटजीपीटी, गूगल जेमिनी, ग्रोक बाय एक्स और मेटा एआई सभी अपनी सेवा की शर्तों के अनुसार नाबालिगों को अपनी सेवाओं का उपयोग करने की अनुमति देते हैं।
ऑनलाइन सुरक्षा समर्थकों का कहना है कि कैरेक्टर.एआई द्वारा रेलिंग लगाने का निर्णय सराहनीय है, लेकिन उन्होंने यह भी कहा कि चैटबॉट बच्चों और कमजोर आबादी के लिए खतरा बने हुए हैं।
“यह मूल रूप से आपका बच्चा या किशोर है जो किसी इकाई के साथ भावनात्मक रूप से गहन, संभावित रूप से गहरा रोमांटिक या यौन संबंध रखता है … जिसकी कोई जिम्मेदारी नहीं है कि वह रिश्ता कहां जाता है,” कैलिफोर्निया विश्वविद्यालय में इनोवेटिव टेक्नोलॉजीज की नैतिकता और विनियमन के लिए बर्कले ग्रुप के सह-संस्थापक जोडी हेल्पर ने कहा।
हेल्पर ने चेतावनी दी है कि माता-पिता को इस बात से अवगत होना चाहिए कि अपने बच्चों को चैटबॉट्स के साथ बातचीत करने की अनुमति देना “अपने बच्चे को किसी ऐसे व्यक्ति के साथ कार में बिठाने देना जिसे आप नहीं जानते हैं” के विपरीत नहीं है।
एबीसी न्यूज के कैटिलिन मॉरिस और टोनी सिम्पसन ने इस रिपोर्ट में योगदान दिया।








