Mogu li veliki jezički modeli rešiti logičke zagonetke? Da bi to saznali, Fernando Perez-Cruz i Hyun Song Shin su pitali GPT-4. Shin, direktor istraživanja u Banci za međunarodna poravnanja, uveo je zagonetku „Cherylin rođendan“, u kojoj Albert i Bernard treba da pogode kada Cheryl ima rođendan. Cheryl im daje tragove i posle nekih razmišljanja oboje mogu otkriti datum. Ali to nije bio pravi test. Istraživači su promenili imena i mesece u zagonetki, a GPT-4 nije uspeo pravilno rešiti modifikovanu verziju, iako je originalnu zagonetku objasnio majstorski.

To je pokazatelj da GPT-4, iako zvuči logično i uverljivo, često samo reprodukuje poznate odgovore bez stvarnog razumevanja logike. Ovaj privid briljantnosti nosi rizike kada se radi o važnim odlukama.

Još jedan primer je Monti-Halov problem, gde kandidat mora da bira između troje vrata, iza jednog se nalazi nagrada. Voditelj otvara vrata bez nagrade i nudi kandidatu priliku da promeni izbor. Prava strategija je promeniti vrata, ali kada je Perez-Kruz postavio zagonetku sa dodatnim komplikacijama, GPT-4 je opet pogrešio, iako je osnovne stvari tačno objasnio.

Ovi primeri ilustruju osnovni problem: Veliki jezički modeli kao što je GPT-4 su izuzetno dobri u generisanju uverljivih, ali netačnih odgovora. Mogu delovati uverljivo, čak i kada greše, što njihovu upotrebu čini rizičnom. Kao što ističu Perez-Kruz i Šin, pogrešan jezički model može imati fatalne posledice ako se koristi u važnim procesima donošenja odluka.

Jezik model, koji se naizgled čini tačnim, ali je zapravo toliko pogrešan, je opasno oružje. To je kao oslanjanje na tabelu koja povremeno zaboravlja kako funkcioniše množenje. Ova saznanja treba da posluže kao upozorenje da se jezički modeli koriste sa oprezom i da se njihovi odgovori uvek kritički preispitaju.