Môžu veľké jazykové modely riešiť logické hádanky? Aby to zistili, Fernando Perez-Cruz a Hyun Song Shin sa spýtali GPT-4. Shin, vedúci výskumu v Banke pre medzinárodné zúčtovanie, začali s hádankou „Cheryline narodeniny“, kde Albert a Bernard majú uhádnuť, kedy má Cheryl narodeniny. Cheryl im dá pár indícií a po niekoľkých úvahách obaja dokážu zistiť dátum. To však nebol skutočný test. Vedci zmenili mená a mesiace v hádanke, a GPT-4 nedokázalo správne vyriešiť modifikovanú verziu, hoci pôvodnú hádanku vysvetlilo majstrovsky.

Toto ukazuje, že GPT-4 síce znie logicky a presvedčivo, ale v skutočnosti často iba opakuje známe odpovede bez skutočného pochopenia logiky. Tento zdanlivý lesk brilantnosti skrýva riziká pri dôležitých rozhodnutiach.

Tu je preklad uvedeného nadpisu do slovenčiny:
Ďalším príkladom je Monty-Hallov problém, kde si musí kandidát vybrať medzi tromi dverami, za jednými z ktorých sa skrýva cena. Kvízmajster otvorí jedny dvere bez ceny a ponúkne kandidátovi možnosť zmeniť výber. Správna stratégia je zmeniť dvere, ale keď Perez-Cruz zadal hádanku s ďalšími komplikáciami, GPT-4 opäť urobil chyby, aj keď správne vysvetlil základy.

Tieto príklady ilustrujú základný problém: Veľké jazykové modely, ako napríklad GPT-4, sú neuveriteľne dobré v generovaní pravdepodobných, ale nesprávnych odpovedí. Môžu pôsobiť presvedčivo, aj keď sú nesprávne, čo robí ich použitie riskantným. Ako Perez-Cruz a Shin zdôrazňujú, chybný jazykový model by mohol mať fatálne následky, ak by sa použil v dôležitých rozhodovacích procesoch.

Jazykový model, ktorý sa zdá byť správny, ale v skutočnosti je nesprávny, je nebezpečnou zbraňou. Je to, akoby ste sa spoliehali na tabuľkový procesor, ktorý občas zabudne, ako funguje násobenie. Tieto poznatky by mali slúžiť ako varovanie, aby sme jazykové modely používali s opatrnosťou a ich odpovede vždy kriticky prehodnocovali.