क्या बड़े भाषा मॉडल तार्किक पहेलियाँ हल कर सकते हैं? इसे जानने के लिए, फर्नांडो पेरेज़-क्रूज़ और ह्यून सॉन्ग शिन ने GPT-4 से पूछा। शिन, जो अंतरराष्ट्रीय निपटान बैंक में शोध के प्रमुख हैं, ने "चेरिल का जन्मदिन" नामक पहेली को प्रस्तुत किया, जिसमें अल्बर्ट और बर्नार्ड को चेरिल के जन्मदिन का पता लगाना होता है। चेरिल उन्हें संकेत देती है और कुछ सोच-विचार के बाद दोनों तिथि का पता लगा लेते हैं। लेकिन यह असली परीक्षा नहीं थी। शोधकर्ताओं ने पहेली के नाम और महीनों को बदल दिया, और GPT-4 परिवर्तित संस्करण को सही ढंग से हल करने में विफल रहा, हालांकि उसने मूल पहेली को शानदार ढंग से समझाया।
यह दिखाता है कि GPT-4 तार्किक और प्रभावी प्रतीत होता है, लेकिन वास्तव में अक्सर केवल ज्ञात उत्तर देता है, बिना तार्किकता को सही मायने में समझे। महत्वपूर्ण निर्णयों के लिए यह चमक सतही होने पर जोखिम पैदा करती है।
एक और उदाहरण मॉन्टी-हॉल समस्या है, जिसमें एक उम्मीदवार को तीन दरवाजों में से एक चुनना होता है, जिनमें से एक के पीछे एक पुरस्कार होता है। क्विज़मास्टर एक दरवाजा खोलता है जिसमें पुरस्कार नहीं है और उम्मीदवार को अपनी पसंद बदलने का प्रस्ताव देता है। सही रणनीति दरवाजा बदलना है, लेकिन जब पेरेज़-क्रूज़ ने पहेली को अतिरिक्त जटिलताओं के साथ प्रस्तुत किया, तो GPT-4 ने फिर से गलतियाँ कीं, हालांकि उसने बुनियादी बातें सही तरीके से समझायीं।
ये उदाहरण एक मूलभूत समस्या को स्पष्ट करते हैं: GPT-4 जैसे बड़े भाषा मॉडल यथार्थ प्रतीत होने वाले, लेकिन गलत उत्तर उत्पन्न करने में आश्चर्यजनक रूप से अच्छे हैं। वे भले ही गलत हों, फिर भी विश्वास दिला सकते हैं, जिससे उनका उपयोग जोखिम भरा हो सकता है। पेरेज़-क्रूज़ और शिन के अनुसार, अगर किसी महत्वपूर्ण निर्णय प्रक्रिया में एक त्रुटिपूर्ण भाषा मॉडल का उपयोग किया जाता है, तो इसके विनाशकारी परिणाम हो सकते हैं।
एक भाषा मॉडल जो देखने में सही लगता है, लेकिन वास्तव में गलत होता है, एक खतरनाक हथियार है। यह वैसा ही है जैसे एक स्प्रेडशीट पर निर्भर करना जो कभी-कभी यह भूल जाती है कि गुणा कैसे किया जाता है। ये निष्कर्ष एक चेतावनी के रूप में काम करने चाहिए कि भाषा मॉडलों का उपयोग सावधानीपूर्वक करें और उनके उत्तरों पर हमेशा आलोचनात्मक रूप से विचार करें।
