Kunnen grote taalmodellen logische raadsels oplossen? Om dit uit te vinden, vroegen Fernando Perez-Cruz en Hyun Song Shin GPT-4.

Dit toont aan dat GPT-4 weliswaar logisch en overtuigend klinkt, maar in feite vaak slechts bekende antwoorden herhaalt zonder de logica echt te begrijpen. Deze schijn van briljantie brengt risico's met zich mee als het gaat om belangrijke beslissingen.

Een ander voorbeeld is het Monty Hall-probleem, waarbij een kandidaat tussen drie deuren moet kiezen, achter één daarvan bevindt zich een prijs. De quizmaster opent een deur zonder prijs en biedt de kandidaat de mogelijkheid om van keuze te veranderen. De juiste strategie is om van deur te wisselen, maar toen Perez-Cruz het raadsel met extra complicaties presenteerde, maakte GPT-4 opnieuw fouten, hoewel het de basisprincipes correct uitlegde.

Deze voorbeelden verduidelijken een fundamenteel probleem: Grote taalmodellen zoals GPT-4 zijn verbazingwekkend goed in het genereren van plausibele, maar onjuiste antwoorden. Ze kunnen overtuigend overkomen, zelfs als ze het mis hebben, wat hun gebruik riskant maakt. Zoals Perez-Cruz en Shin benadrukken, kan een defect taalmodel fatale gevolgen hebben als het in belangrijke besluitvormingsprocessen wordt ingezet.

Ein taalkundig model dat ogenschijnlijk correct, maar in feite fout is, is een gevaarlijk wapen. Het is alsof je vertrouwt op een spreadsheet die af en toe vergeet hoe vermenigvuldiging werkt. Deze inzichten moeten dienen als waarschuwing om taalkundige modellen met voorzichtigheid te gebruiken en hun antwoorden altijd kritisch te evalueren.