Les grands modèles de langue peuvent-ils résoudre des énigmes logiques ? Pour le découvrir, Fernando Perez-Cruz et Hyun Song Shin ont interrogé GPT-4. Shin, directeur de la recherche à la Banque des règlements internationaux, a introduit l'énigme « L'anniversaire de Cheryl », où Albert et Bernard doivent deviner quand Cheryl fête son anniversaire. Cheryl leur donne des indices et, après quelques réflexions, les deux peuvent trouver la date. Mais ce n'était pas le véritable test. Les chercheurs ont modifié les noms et les mois de l'énigme, et GPT-4 n'a pas réussi à résoudre correctement la version modifiée, malgré sa maîtrise de l'énigme originale.

Dies zeigt, dass GPT-4 zwar logisch und überzeugend klingt, aber tatsächlich oft nur bekannte Antworten wiedergibt, ohne die Logik wirklich zu verstehen. Dieser Schein von Brillanz birgt Risiken, wenn es um wichtige Entscheidungen geht.

Cela montre que, bien que GPT-4 semble logique et convaincant, il fournit souvent des réponses connues sans réellement comprendre la logique. Cette apparence de brillance comporte des risques lorsqu'il s'agit de décisions importantes.

Un autre exemple est le problème de Monty Hall, où un candidat doit choisir entre trois portes, derrière l'une d'elles se cache un prix. Le présentateur ouvre une porte sans prix et propose au candidat de changer de choix. La stratégie correcte est de changer de porte, mais lorsque Perez-Cruz a posé l'énigme avec des complications supplémentaires, GPT-4 a de nouveau fait des erreurs, bien qu'il ait correctement expliqué les bases.

Ces exemples illustrent un problème fondamental : les grands modèles linguistiques comme GPT-4 sont étonnamment bons pour générer des réponses plausibles mais incorrectes. Ils peuvent sembler convaincants même lorsqu'ils sont erronés, ce qui rend leur utilisation risquée. Comme le soulignent Perez-Cruz et Shin, un modèle linguistique défectueux pourrait avoir des conséquences fatales s'il est utilisé dans des processus décisionnels importants.

Ein Sprachmodell, das scheinbar so richtig, aber tatsächlich so falsch liegt, ist eine gefährliche Waffe. Es ist, als würde man sich auf eine Tabellenkalkulation verlassen, die gelegentlich vergisst, wie Multiplikation funktioniert. Diese Erkenntnisse sollten als Warnung dienen, Sprachmodelle mit Vorsicht zu verwenden und ihre Antworten stets kritisch zu hinterfragen.

Un modèle linguistique qui semble correct mais se trompe en réalité est une arme dangereuse. C'est comme se fier à une feuille de calcul qui oublie parfois comment fonctionne la multiplication. Ces découvertes devraient servir d'avertissement pour utiliser les modèles linguistiques avec prudence et toujours remettre en question leurs réponses.