Können große Sprachmodelle logische Rätsel lösen? Um dies herauszufinden, fragten Fernando Perez-Cruz und Hyun Song Shin GPT-4. Shin, Leiter der Forschung bei der Bank für Internationalen Zahlungsausgleich, brachte das Rätsel „Cheryl’s Birthday“ ins Spiel, bei dem Albert und Bernard erraten sollen, wann Cheryl Geburtstag hat. Cheryl gibt ihnen Hinweise und nach einigen Überlegungen können beide das Datum herausfinden. Doch das war nicht der wahre Test. Die Forscher änderten Namen und Monate des Rätsels, und GPT-4 scheiterte daran, die modifizierte Version korrekt zu lösen, obwohl es das ursprüngliche Rätsel meisterhaft erklärte.
Dies zeigt, dass GPT-4 zwar logisch und überzeugend klingt, aber tatsächlich oft nur bekannte Antworten wiedergibt, ohne die Logik wirklich zu verstehen. Dieser Schein von Brillanz birgt Risiken, wenn es um wichtige Entscheidungen geht.
Ein weiteres Beispiel ist das Monty-Hall-Problem, bei dem ein Kandidat zwischen drei Türen wählen muss, hinter einer verbirgt sich ein Preis. Der Quizmaster öffnet eine Tür ohne Preis und bietet dem Kandidaten an, die Wahl zu ändern. Die richtige Strategie ist, die Tür zu wechseln, aber als Perez-Cruz das Rätsel mit zusätzlichen Komplikationen stellte, machte GPT-4 erneut Fehler, obwohl es die Grundlagen korrekt erklärte.
Diese Beispiele verdeutlichen ein grundlegendes Problem: Große Sprachmodelle wie GPT-4 sind erstaunlich gut darin, plausible, aber falsche Antworten zu generieren. Sie können überzeugend wirken, selbst wenn sie falsch liegen, was ihre Verwendung riskant macht. Wie Perez-Cruz und Shin betonen, könnte ein fehlerhaftes Sprachmodell fatale Konsequenzen haben, wenn es in wichtigen Entscheidungsprozessen eingesetzt wird.
Ein Sprachmodell, das scheinbar so richtig, aber tatsächlich so falsch liegt, ist eine gefährliche Waffe. Es ist, als würde man sich auf eine Tabellenkalkulation verlassen, die gelegentlich vergisst, wie Multiplikation funktioniert. Diese Erkenntnisse sollten als Warnung dienen, Sprachmodelle mit Vorsicht zu verwenden und ihre Antworten stets kritisch zu hinterfragen.
