Μια συνεχιζόμενη πρόκληση με τις σημερινές γεννητικές Τεχνητές Νοημοσύνες (ΤΝ), όπως το ChatGPT, είναι ότι συχνά δηλώνουν λανθασμένες πληροφορίες με αυτοπεποίθηση. Αυτή η συμπεριφορά, που οι επιστήμονες υπολογιστών αποκαλούν «παραισθήσεις», αποτελεί σημαντικό εμπόδιο για τη χρησιμότητα της ΤΝ.
Οι παραισθήσεις έχουν ήδη οδηγήσει σε ορισμένα αμήχανα δημόσια περιστατικά. Τον Φεβρουάριο, ένα δικαστήριο υποχρέωσε την Air Canada να αναγνωρίσει μια έκπτωση που είχε προσφέρει κατά λάθος σε έναν επιβάτη ο αυτόματος συνομιλητής της εξυπηρέτησης πελατών της.
Τον Μάιο η Google χρειάστηκε να κάνει αλλαγές στη νέα λειτουργία αναζήτησης «AI Overviews», αφού το bot ενημέρωσε ορισμένους χρήστες ότι είναι ασφαλές να τρώνε πέτρες.
Και τον Ιούνιο του περασμένου έτους, δύο δικηγόροι καταδικάστηκαν από έναν Αμερικανό δικαστή σε χρηματικό πρόστιμο ύψους 5.000 δολαρίων, αφού ένας από αυτούς παραδέχθηκε ότι χρησιμοποίησε το ChatGPT για να βοηθηθεί στη σύνταξη μιας αγωγής. Ο συνομιλητής λογισμικό είχε εισάγει ψεύτικες παραπομπές στην κατάθεση, οι οποίες αναφέρονταν σε ανύπαρκτες υποθέσεις.
Μια καλή είδηση για δικηγόρους, διαδικτυακούς γίγαντες αναζήτησης και αεροπορικές εταιρείες: Τουλάχιστον ορισμένα είδη χαλκινήσεων από τεχνητή νοημοσύνη θα μπορούσαν σύντομα να ανήκουν στο παρελθόν. Νέα ερευνητικά αποτελέσματα, που δημοσιεύθηκαν την Τετάρτη στο επιστημονικό περιοδικό Nature, περιγράφουν μια νέα μέθοδο για την ανίχνευση των χαλκινήσεων από τεχνητή νοημοσύνη.
Η μέθοδος μπορεί να διακρίνει μεταξύ σωστών και εσφαλμένων απαντήσεων που δημιουργούνται από την τεχνητή νοημοσύνη σε περίπου 79 τοις εκατό των περιπτώσεων - περίπου δέκα ποσοστιαίες μονάδες υψηλότερα από άλλες κορυφαίες μεθόδους. Αν και η μέθοδος αντιμετωπίζει μόνο μία από τις αιτίες των ψευδαισθήσεων της τεχνητής νοημοσύνης και απαιτεί περίπου δέκα φορές περισσότερη υπολογιστική ισχύ από μια τυπική συνομιλία με chatbot, τα αποτελέσματα θα μπορούσαν να ανοίξουν τον δρόμο για πιο αξιόπιστα συστήματα τεχνητής νοημοσύνης.
«Ο στόχος μου είναι να ανοίξω δρόμους για την αξιοποίηση μεγάλων γλωσσικών μοντέλων σε τομείς όπου δεν χρησιμοποιούνται επί του παρόντος – όπου απαιτείται κάτι περισσότερο από την επί του παρόντος διαθέσιμη αξιοπιστία», λέει ο Sebastian Farquhar, ένας από τους συγγραφείς της μελέτης και ανώτερος ερευνητικός συνεργάτης στο Τμήμα Πληροφορικής του Πανεπιστημίου της Οξφόρδης, όπου πραγματοποιήθηκε η έρευνα.
Ο Farquhar είναι επίσης ερευνητής στην ομάδα ασφάλειας της Google DeepMind. Για τον δικηγόρο που τιμωρήθηκε λόγω παραισθήσεων του ChatGPT, ο Farquhar λέει: «Αυτό θα τον είχε βοηθήσει».
Η έννοια της «παραισθήσεως» έχει αποκτήσει σημασία στον κόσμο της Τεχνητής Νοημοσύνης, αλλά είναι επίσης αμφισβητούμενη. Υποδηλώνει ότι τα μοντέλα έχουν μια μορφή υποκειμενικής εμπειρίας του κόσμου, κάτι που οι περισσότεροι πληροφορικοί αρνούνται. Επιπλέον, υποδηλώνει ότι οι παραισθήσεις είναι ένα επιλύσιμο χαρακτηριστικό και όχι ένα θεμελιώδες πρόβλημα των μεγάλων γλωσσικών μοντέλων. Η ομάδα του Farquhar επικεντρώθηκε σε μια συγκεκριμένη κατηγορία παραισθήσεων, που την ονομάζουν «συρραφή».
Αυτό συμβαίνει όταν ένα μοντέλο ΤΝ δίνει αντιφατικές λανθασμένες απαντήσεις σε μια ερώτηση πραγματικών γεγονότων, σε αντίθεση με τις συνεπείς λανθασμένες απαντήσεις, που είναι πιο πιθανό να οφείλονται σε προβλήματα με τα δεδομένα εκπαίδευσης του μοντέλου ή σε δομικά λάθη στη λογική του μοντέλου.
Η μέθοδος για την ανίχνευση των επινοημένων αφηγήσεων είναι σχετικά απλή. Πρώτα, ζητείται από το chatbot να δώσει πολλές απαντήσεις στην ίδια είσοδο. Στη συνέχεια, οι ερευνητές χρησιμοποιούν ένα άλλο γλωσσικό μοντέλο για να ομαδοποιήσουν αυτές τις απαντήσεις με βάση τη σημασία τους.
Οι ερευνητές υπολογίζουν στη συνέχεια έναν δείκτη, τον οποίο ονομάζουν «σημασιολογική εντροπία» – ένα μέτρο του πόσο όμοιες ή διαφορετικές είναι οι σημασίες των απαντήσεων. Μια υψηλή σημασιολογική εντροπία υποδηλώνει ότι το μοντέλο δημιουργεί φανταστικές απαντήσεις.
Η μέθοδος αναγνώρισης της σημασιολογικής εντροπίας ξεπέρασε άλλες προσεγγίσεις αναγνώρισης παραισθήσεων από τεχνητή νοημοσύνη. Ο Farquhar έχει μερικές ιδέες για το πώς η σημασιολογική εντροπία θα μπορούσε να βοηθήσει στη μείωση των παραισθήσεων σε κορυφαία chatbots.
Πιστεύει ότι αυτό θα μπορούσε θεωρητικά να επιτρέψει στην OpenAI να προσθέσει ένα κουμπί, με το οποίο οι χρήστες μπορούν να αξιολογήσουν την βεβαιότητα μιας απάντησης. Η μέθοδος θα μπορούσε επίσης να ενσωματωθεί σε άλλα εργαλεία που χρησιμοποιούν την τεχνητή νοημοσύνη σε περιβάλλοντα υψηλής ευαισθησίας, όπου η ακρίβεια είναι ζωτικής σημασίας.
Καθώς ο Farquhar είναι αισιόδοξος, ορισμένοι ειδικοί προειδοποιούν για την υπερεκτίμηση της άμεσης επίδρασης. Ο Arvind Narayanan, καθηγητής πληροφορικής στο Πανεπιστήμιο του Princeton, τονίζει τις προκλήσεις της ενσωμάτωσης αυτής της έρευνας σε πραγματικές εφαρμογές.
Επισημαίνει ότι οι παραισθήσεις αποτελούν ένα θεμελιώδες πρόβλημα της λειτουργίας μεγάλων γλωσσικών μοντέλων και ότι στο άμεσο μέλλον είναι απίθανο αυτό το πρόβλημα να επιλυθεί πλήρως.
