Kunde store sprogmodeller løse logiske gåder? For at finde ud af det spurgte Fernando Perez-Cruz og Hyun Song Shin GPT-4. Shin, forskningsleder ved Bank for International Settlements, bragte gåden "Cheryl's Birthday" ind i spillet, hvor Albert og Bernard skal gætte, hvornår Cheryl har fødselsdag. Cheryl giver dem ledetråde, og efter nogle overvejelser kan begge finde datoen. Men det var ikke den egentlige test. Forskerne ændrede gådens navne og måneder, og GPT-4 fejlede i at løse den modificerede version korrekt, selvom det forklarende den oprindelige gåde mesterligt.

Dette viser, at GPT-4 godt nok lyder logisk og overbevisende, men ofte blot gengiver kendte svar uden virkelig at forstå logikken. Denne sindrige facade rummer risici, når det drejer sig om vigtige beslutninger.

Et andet eksempel er Monty-Hall-problemet, hvor en kandidat skal vælge mellem tre døre, bag én af dem er der en præmie. Quizmesteren åbner en dør uden præmien og tilbyder kandidaten at skifte valg. Den rigtige strategi er at skifte dør, men da Perez-Cruz fremlagde gåden med yderligere komplikationer, lavede GPT-4 igen fejl, selvom den korrekt forklarede grundprincipperne.

Disse eksempler illustrerer et grundlæggende problem: Store sprogmodeller som GPT-4 er utroligt gode til at generere plausible, men forkerte svar. De kan virke overbevisende, selv når de tager fejl, hvilket gør deres anvendelse risikabel. Som Perez-Cruz og Shin understreger, kan en fejlbehæftet sprogmodel have fatale konsekvenser, hvis den anvendes i vigtige beslutningsprocesser.

Et sprogmodel, der tilsyneladende har ret, men faktisk tager fejl, er et farligt våben. Det er som at stole på et regneark, der lejlighedsvis glemmer, hvordan multiplikation fungerer. Disse erkendelser bør tjene som en advarsel om at bruge sprogmodeller med forsigtighed og altid kritisk efterprøve deres svar.