Чи можуть великі мовні моделі вирішувати логічні загадки? Для того, щоб це з'ясувати, Фернандо Перес-Крус та Хюн Сонг Шин запитали GPT-4. Шин, керівник досліджень у Банку міжнародних розрахунків, представив загадку «День народження Шеріл», де Альберт і Бернард повинні здогадатися, коли у Шеріл день народження. Шеріл дає їм підказки, і після деяких роздумів обидва можуть визначити дату. Але це не був справжній тест. Дослідники змінили імена та місяці загадки, і GPT-4 не зміг правильно вирішити модифіковану версію, хоча майстерно пояснив оригінальну.

Це показує, що хоча GPT-4 звучить логічно та переконливо, насправді він часто просто повторює відомі відповіді, не розуміючи по-справжньому логіки. Така видимість блиску несе ризики, коли мова йде про важливі рішення.

Ще один приклад - це проблема Монті Голла, де кандидат повинен вибрати одну з трьох дверей, за однією з яких знаходиться приз. Ведучий відкриває одні двері без призу та пропонує кандидату змінити вибір. Правильна стратегія - змінити двері, але коли Перес-Крус ускладнив задачу, GPT-4 знову допустив помилки, хоча правильно пояснив основи.

Ці приклади підкреслюють основну проблему: Великі мовні моделі, такі як GPT-4, надзвичайно добре генерують правдоподібні, але хибні відповіді. Вони можуть переконливо звучати, навіть коли помиляються, що робить їх використання ризикованим. Як відзначають Перез-Крус і Шин, помилкова мовна модель може мати фатальні наслідки, якщо її використовувати у важливих процесах прийняття рішень.

Мовна модель, яка здається правильною, але насправді є помилковою, є небезпечною зброєю. Це все одно, що покладатися на електронну таблицю, яка час від часу забуває, як працює множення. Ці усвідомлення повинні слугувати попередженням використовувати мовні моделі з обережністю та завжди критично оцінювати їхні відповіді.