Kan stora språkmodeller lösa logiska gåtor? För att ta reda på detta frågade Fernando Perez-Cruz och Hyun Song Shin GPT-4. Shin, forskningschef på Bank for International Settlements, tog upp gåtan ”Cheryl’s Birthday”, där Albert och Bernard ska gissa när Cheryl har födelsedag. Cheryl ger dem ledtrådar och efter lite övervägande kan båda ta reda på datumet. Men det var inte det riktiga testet. Forskarna ändrade namn och månader i gåtan, och GPT-4 misslyckades med att lösa den modifierade versionen korrekt, trots att den förklarade den ursprungliga gåtan mästerligt.
Dies zeigt, dass GPT-4 zwar logisch und überzeugend klingt, aber tatsächlich oft nur bekannte Antworten wiedergibt, ohne die Logik wirklich zu verstehen. Dieser Schein von Brillanz birgt Risiken, wenn es um wichtige Entscheidungen geht.
Detta visar att GPT-4 låter logiskt och övertygande, men faktiskt ofta bara återger kända svar utan att verkligen förstå logiken. Denna skenbara briljans innebär risker när det gäller viktiga beslut.
Ett annat exempel är Monty Hall-problemet, där en deltagare måste välja mellan tre dörrar, bakom en av dem finns ett pris. Programledaren öppnar en dörr utan pris och erbjuder deltagaren att ändra sitt val. Den rätta strategin är att byta dörr, men när Perez-Cruz ställde frågan med ytterligare komplikationer, gjorde GPT-4 återigen misstag, även om den korrekt förklarade grunderna.
Dessa exempel belyser ett grundläggande problem: Stora språkmodeller som GPT-4 är anmärkningsvärt bra på att generera plausibla men felaktiga svar. De kan verka övertygande även när de har fel, vilket gör deras användning riskabel. Som Perez-Cruz och Shin betonar kan en felaktig språkmodell få fatala konsekvenser om den används i viktiga beslutsprocesser.
Ett språkmodell som verkar ha rätt, men faktiskt har fel är ett farligt vapen. Det är som att lita på ett kalkylark som då och då glömmer hur multiplikation fungerar. Dessa insikter bör ses som en varning att använda språkmodeller med försiktighet och alltid kritiskt granska deras svar.
