هل تستطيع نماذج اللغة الكبيرة حل الألغاز المنطقية؟ لمعرفة ذلك، سأل فيرناندو بيريز-كروز وهيون سونغ شين GPT-4. شين، رئيس الأبحاث في بنك التسويات الدولية، أحضر لغز "عيد ميلاد شيريل" إلى الطاولة، حيث يتعين على ألبرت وبرنارد تخمين متى عيد ميلاد شيريل. تعطيهم شيريل بعض الدلائل وبعد بعض التفكير يتمكن كلاهما من اكتشاف التاريخ. لكن ذلك لم يكن الاختبار الحقيقي. قام الباحثون بتغيير الأسماء والأشهر في اللغز، وفشلت GPT-4 في حل النسخة المعدلة بشكل صحيح، على الرغم من تفسيرها ببراعة للغز الأصلي.
هذا يظهر أن GPT-4 قد يبدو منطقيًا ومقنعًا، لكنه في الواقع غالبًا ما يكرر إجابات معروفة دون أن يفهم المنطق بشكل حقيقي. هذا الوهم البراق يحمل مخاطر عندما يتعلق الأمر بقرارات مهمة.
مثال آخر هو مشكلة مونتي هول، حيث يجب على المرشح اختيار واحدة من ثلاث أبواب، خلف أحدها توجد جائزة. يقوم المقدم بفتح باب بدون جائزة ويقدم للمرشح فرصة لتغيير اختياره. الاستراتيجية الصحيحة هي تغيير الباب، ولكن عندما طرح بيريز-كروز اللغز مع تعقيدات إضافية، ارتكب GPT-4 أخطاءً مرة أخرى، رغم أنه شرح الأساسيات بشكل صحيح.
توضح هذه الأمثلة مشكلة أساسية: النماذج اللغوية الكبيرة مثل GPT-4 بارعة بشكل مذهل في توليد إجابات محتملة لكن خاطئة. قد تبدو مقنعة حتى وإن كانت خاطئة، مما يجعل استخدامها محفوفًا بالمخاطر. وكما يشير بيريز-كروز وشين، فإن النموذج اللغوي الخاطئ قد تكون له عواقب وخيمة إذا تم استخدامه في عمليات اتخاذ القرار المهمة.
نموذج لغوي يبدو دقيقاً ولكنه في الواقع خاطئ بشكل كبير هو سلاح خطير. إنه كما لو كنت تعتمد على جدول بيانات ينسى أحياناً كيف تعمل عملية الضرب. يجب أن تكون هذه الاستنتاجات تحذيراً لاستخدام النماذج اللغوية بحذر ويجب دائماً تقييم إجاباتها بطريقة نقدية.
