नई दिल्ली: यदि आप OpenAI, Anthropic या Google के AI मॉडल्स का उपयोग हिंदी या अन्य क्षेत्रीय भाषाओं में कर रहे हैं, तो सावधान हो जाएं। रिसर्चर्स के नए डेटा से पता चला है कि अंग्रेजी के अलावा अन्य भाषाओं में AI का उपयोग करना ‘छिपे हुए खर्च’ यानी ‘लैंग्वेज टैक्स’ की वजह से काफी महंगा पड़ सकता है। कंपनियां भले ही अपने (Hidden Costs of AI) मॉडल्स को सभी के लिए समान बताएं, लेकिन भाषा के आधार पर प्रोसेसिंग लागत में भारी अंतर है।
क्यों महंगा है हिंदी में AI का उपयोग?
AI मॉडल किसी भी निर्देश (प्रॉम्प्ट) को ‘टोकन’ (Tokens) के रूप में प्रोसेस करते हैं। सरल शब्दों में, एआई सिस्टम टेक्स्ट को पढ़ने के लिए छोटी इकाइयों का उपयोग करता है। अंग्रेजी की तुलना में, हिंदी जैसे भाषाओं में शब्दों की संरचना भिन्न होने के कारण AI ज्यादा टोकन्स जेनरेट करता है। जो काम अंग्रेजी में कम टोकन्स में हो जाता है, वही हिंदी (Hidden Costs of AI) में कहने पर सिस्टम ज्यादा टोकन्स खर्च करता है, जिससे अंततः यूजर को ज्यादा पैसे चुकाने पड़ते हैं।
क्या है ‘लैंग्वेज टैक्स’ का गणित?
रिसर्चर्स इसे एक ‘छिपा हुआ खर्च’ मानते हैं जो AI के टोकनाइजर (Tokenizer) की कार्यप्रणाली पर निर्भर करता है। हालिया प्रयोगों के नतीजे चौंकाने वाले हैं:
-
-
OpenAI के टोकेनाइज़र पर: हिंदी टेक्स्ट के लिए अंग्रेजी की तुलना में लगभग 1.37 गुना ज्यादा टोकन खर्च होते हैं।
-
-
-
Anthropic के Claude टोकेनाइजर पर: यह अंतर और भी बढ़ जाता है, जहाँ हिंदी के लिए 3.24 गुना ज्यादा टोकन की आवश्यकता होती है।
-
-
-
अन्य भाषाएं: अरबी के लिए 2.86 गुना और चीनी भाषा के लिए 1.71 गुना ज्यादा टोकन खर्च होते हैं।
-
