Μπορούν τα μεγάλα γλωσσικά μοντέλα να λύσουν λογικούς γρίφους; Για να το ανακαλύψουν αυτό, οι Fernando Perez-Cruz και Hyun Song Shin ρώτησαν το GPT-4. Ο Shin, επικεφαλής της έρευνας στην Τράπεζα Διεθνών Διακανονισμών, έφερε τον γρίφο «Τα γενέθλια της Cheryl», στον οποίο ο Albert και ο Bernard πρέπει να μαντέψουν πότε έχει γενέθλια η Cheryl. Η Cheryl τους δίνει στοιχεία και μετά από κάποια σκέψη καταφέρνουν να βρουν την ημερομηνία. Όμως αυτό δεν ήταν η πραγματική δοκιμασία. Οι ερευνητές άλλαξαν τα ονόματα και τους μήνες του γρίφου, και το GPT-4 απέτυχε να λύσει σωστά τη τροποποιημένη εκδοχή, παρόλο που εξήγησε άψογα τον αρχικό γρίφο.

Αυτό δείχνει ότι το GPT-4 ακούγεται λογικό και πειστικό, αλλά στην πραγματικότητα συχνά απλώς αναπαράγει γνωστές απαντήσεις χωρίς να κατανοεί πραγματικά τη λογική. Αυτή η επίφαση ευφυΐας ενέχει κινδύνους όταν πρόκειται για σημαντικές αποφάσεις.

Ένα άλλο παράδειγμα είναι το πρόβλημα Monty Hall, στο οποίο ένας υποψήφιος πρέπει να επιλέξει ανάμεσα σε τρεις πόρτες, πίσω από μία από τις οποίες βρίσκεται ένα βραβείο. Ο παρουσιαστής ανοίγει μια πόρτα χωρίς βραβείο και προσφέρει στον υποψήφιο την ευκαιρία να αλλάξει την επιλογή του. Η σωστή στρατηγική είναι να αλλάξει πόρτα, αλλά όταν ο Perez-Cruz έθεσε το γρίφο με επιπλέον περιπλοκές, το GPT-4 έκανε και πάλι λάθη, αν και εξηγούσε τις βασικές αρχές σωστά.

Αυτά τα παραδείγματα καταδεικνύουν ένα θεμελιώδες πρόβλημα: Μεγάλα γλωσσικά μοντέλα όπως το GPT-4 είναι εκπληκτικά καλά στο να παράγουν πειστικές, αλλά λανθασμένες απαντήσεις. Μπορούν να φαίνονται πειστικά, ακόμη και όταν σφάλλουν, κάτι που καθιστά τη χρήση τους επικίνδυνη. Όπως επισημαίνουν οι Perez-Cruz και Shin, ένα εσφαλμένο γλωσσικό μοντέλο θα μπορούσε να έχει μοιραίες συνέπειες αν χρησιμοποιηθεί σε σημαντικές διαδικασίες λήψης αποφάσεων.

Ένα γλωσσικό μοντέλο που φαίνεται σωστό αλλά στην πραγματικότητα είναι λάθος, είναι ένα επικίνδυνο όπλο. Είναι σαν να βασίζεσαι σε ένα υπολογιστικό φύλλο που περιστασιακά ξεχνά πώς λειτουργεί ο πολλαπλασιασμός. Αυτές οι επισημάνσεις θα πρέπει να χρησιμεύουν ως προειδοποίηση για την προσεκτική χρήση των γλωσσικών μοντέλων και τον συνεχή έλεγχο των απαντήσεών τους.