Могут ли большие языковые модели решать логические загадки? Чтобы это выяснить, Фернандо Перес-Крус и Хён Сонг Шин спросили GPT-4. Шин, руководитель исследования в Банке международных расчетов, предложил загадку «День рождения Шерил», в которой Альберту и Бернарду нужно угадать, когда у Шерил день рождения. Шерил даёт им подсказки, и после некоторых размышлений оба смогли найти дату. Но это был не настоящий тест. Исследователи изменили имена и месяцы в загадке, и GPT-4 не смогла правильно решить модифицированную версию, хотя оригинальную загадку объяснила мастерски.

Это показывает, что хотя GPT-4 звучит логично и убедительно, он на самом деле часто просто воспроизводит известные ответы, не понимая полностью логику. Этот видимый блеск несет риски, когда дело касается важных решений.

Вот еще один пример: задача Монти Холла, в которой кандидат должен выбрать одну из трех дверей, за одной из которых скрывается приз. Ведущий открывает одну из дверей без приза и предлагает кандидату изменить свой выбор. Правильная стратегия состоит в том, чтобы поменять дверь, но когда Перес-Крус усложнил задачу, GPT-4 снова совершил ошибки, несмотря на то, что правильно объяснил основы.

Эти примеры иллюстрируют основную проблему: большие языковые модели, такие как GPT-4, удивительно хороши в создании правдоподобных, но ложных ответов. Они могут выглядеть убедительно, даже если они ошибочны, что делает их использование рискованным. Как отмечают Перес-Крус и Шин, ошибочная языковая модель может иметь фатальные последствия, если ее использовать в важных процессах принятия решений.

Модель языка, которая кажется абсолютно правильной, но на самом деле совершенно ошибочной, является опасным оружием. Это все равно, что полагаться на электронную таблицу, которая иногда забывает, как работает умножение. Эти выводы должны служить предупреждением о необходимости осторожного использования языковых моделей и постоянной критической оценки их ответов.