Ar gali dideli kalbos modeliai išspręsti loginius galvosūkius? Norėdami tai išsiaiškinti, Fernando Perez-Cruz ir Hyun Song Shin paklausė GPT-4. Shin, Tarptautinių atsiskaitymų banko mokslinių tyrimų vadovas, pateikė galvosūkį „Cherilės gimtadienis“, kurio metu Albertas ir Bernardas turi atspėti, kada yra Cherilės gimtadienis. Cherilė jiems pateikia užuominas ir po tam tikrų svarstymų abu gali nustatyti datą. Tačiau tai nebuvo tikrasis testas. Mokslininkai pakeitė galvosūkio vardus ir mėnesius, o GPT-4 nesugebėjo teisingai išspręsti modifikuotos versijos, nors pradinį galvosūkį paaiškino puikiai.

Tai rodo, kad nors GPT-4 skamba logiškai ir įtikinamai, dažnai jis tik atkartoja žinomas atsakymus, iš tikrųjų nesuprasdamas logikos. Šis tariamas genialumas kelia rizikų priimant svarbius sprendimus.

Kitas pavyzdys yra Monty-Hall problema, kai kandidatas turi pasirinkti vienas iš trijų durų, už kurių vienų yra prizas. Viktoro vedėjas atidaro duris be prizo ir pasiūlo kandidatui pakeisti pasirinkimą. Teisinga strategija yra pakeisti duris, tačiau kai Perez-Cruz pristatė papildomas komplikacijas, GPT-4 vėl padarė klaidų, nors teisingai paaiškino pagrindus.

Šie pavyzdžiai atskleidžia pagrindinę problemą: tokie dideli kalbos modeliai kaip GPT-4 yra stebėtinai geri generuojant įtikinamus, bet klaidingus atsakymus. Jie gali atrodyti įtikinamai net tada, kai jie klysta, todėl jų naudojimas tampa rizikingas. Kaip pažymi Perez-Cruz ir Shin, klaidingas kalbos modelis gali turėti lemiamų pasekmių, jei jis bus naudojamas svarbiems sprendimų priėmimo procesams.

Kalbos modelis, kuris atrodo tinkamas, bet iš tikrųjų yra klaidingas, yra pavojingas ginklas. Tai tarsi pasikliauti skaičiuokle, kuri kartais pamiršta, kaip veikia daugyba. Šios įžvalgos turėtų būti įspėjimas kalbos modelius naudoti atsargiai ir visuomet kritiškai vertinti jų atsakymus.