Các mô hình ngôn ngữ lớn có thể giải những câu đố logic không? Để tìm hiểu điều này, Fernando Perez-Cruz và Hyun Song Shin đã hỏi GPT-4. Shin, Trưởng phòng Nghiên cứu tại Ngân hàng Thanh toán Quốc tế, đã đưa ra câu đố “Sinh nhật của Cheryl”, trong đó Albert và Bernard phải đoán xem Cheryl sinh nhật vào ngày nào. Cheryl đưa ra gợi ý và sau một thời gian suy nghĩ, cả hai có thể tìm ra ngày tháng. Nhưng đó không phải là bài kiểm tra thực sự. Các nhà nghiên cứu đã thay đổi tên và tháng trong câu đố, và GPT-4 đã không thể giải đúng phiên bản đã được sửa đổi, mặc dù trước đó nó giải thích rất xuất sắc câu đố gốc.

Điều này cho thấy rằng GPT-4 mặc dù có vẻ logic và thuyết phục, nhưng thực tế thường chỉ lặp lại các câu trả lời đã biết mà không thực sự hiểu được logic. Sự giả vờ xuất sắc này có thể mang lại rủi ro khi liên quan đến các quyết định quan trọng.

Một ví dụ khác là bài toán Monty-Hall, trong đó một ứng viên phải chọn giữa ba cánh cửa, với một giải thưởng đằng sau một trong số đó. Người dẫn chương trình mở một cánh cửa không có giải thưởng và đề nghị ứng viên thay đổi lựa chọn. Chiến lược đúng là nên đổi cửa, nhưng khi Perez-Cruz đưa ra bài toán với các phức tạp bổ sung, GPT-4 một lần nữa mắc lỗi mặc dù đã giải thích đúng các nguyên tắc cơ bản.

Các ví dụ này làm rõ một vấn đề cơ bản: Các mô hình ngôn ngữ lớn như GPT-4 rất giỏi trong việc tạo ra các câu trả lời có vẻ hợp lý nhưng sai. Chúng có thể tỏ ra thuyết phục ngay cả khi chúng sai, điều này làm cho việc sử dụng chúng trở nên rủi ro. Như Perez-Cruz và Shin nhấn mạnh, một mô hình ngôn ngữ có lỗi có thể có hậu quả nghiêm trọng nếu được sử dụng trong các quá trình ra quyết định quan trọng.

Một mô hình ngôn ngữ có vẻ như rất đúng nhưng thực tế lại sai là một vũ khí nguy hiểm. Nó giống như dựa vào một bảng tính đôi khi quên cách nhân. Những nhận thức này nên được coi là một cảnh báo về việc sử dụng các mô hình ngôn ngữ một cách cẩn trọng và luôn đặt câu hỏi một cách phê phán với các câu trả lời của chúng.