Mohou velké jazykové modely řešit logické hádanky? Aby to zjistili, zeptali se Fernando Perez-Cruz a Hyun Song Shin GPT-4. Shin, vedoucí výzkumu v Bance pro mezinárodní platby, přišel s hádankou „Cheryl’s Birthday“, kde mají Albert a Bernard uhodnout datum Cherylina narozenin. Cheryl jim dává nápovědy a po chvíli přemýšlení oba mohou datum zjistit. Ale to nebyla opravdová zkouška. Výzkumníci změnili jména a měsíce hádanky a GPT-4 nebyl schopen modifikovanou verzi správně vyřešit, přestože původní hádanku vysvětlil mistrně.

Toto ukazuje, že GPT-4 sice zní logicky a přesvědčivě, ale často pouze opakuje známé odpovědi, aniž by skutečně chápal logiku. Tento zdání brilantnosti představuje rizika, pokud jde o důležitá rozhodnutí.

Here is a translation of the given heading into Czech:
"Příklad za všech okolností je Monty-Hallův problém, kde si musí kandidát vybrat mezi třemi dveřmi, za jedněmi z nich je cena. Kvízmistr otevře jedny dveře bez ceny a nabídne kandidátovi, aby změnil svůj výběr. Správná strategie je změnit dveře, ale když Perez-Cruz přidal další komplikace, GPT-4 znovu udělalo chyby, ačkoliv základy vysvětlilo správně.

Tato ukázka ilustruje základní problém: Velké jazykové modely jako GPT-4 jsou překvapivě dobré v generování věrohodných, ale nesprávných odpovědí. Mohou působit přesvědčivě, i když se mýlí, což činí jejich použití riskantním. Jak zdůrazňují Perez-Cruz a Shin, chybný jazykový model by mohl mít fatální důsledky, pokud by byl použit v důležitých rozhodovacích procesech.

Here is the translated heading in Czech:

Jazykový model, který se zdá být přesný, ale ve skutečnosti je chybný, je nebezpečnou zbraní. Je to, jako byste se spoléhali na tabulku, která občas zapomíná, jak funguje násobení. Tyto poznatky by měly sloužit jako varování, aby se jazykové modely používaly s opatrností a jejich odpovědi byly vždy kriticky posuzovány.