O provocare persistentă a inteligențelor artificiale generative actuale, cum ar fi ChatGPT, constă în faptul că acestea susțin frecvent informații false cu încredere. Acest comportament, denumit de oamenii de știință în domeniul calculatoarelor „halucinație”, reprezintă un obstacol esențial pentru utilitatea IA.

Halucinațiile au dus deja la câteva incidente publice jenante. În februarie, Air Canada a fost obligată de un tribunal să recunoască o reducere pe care chatbot-ul său de servicii pentru clienți a oferit-o din greșeală unui pasager.

În mai, Google a trebuit să facă modificări ale noii sale funcții de căutare „AI Overviews”, după ce botul le-a spus unor utilizatori că este sigur să mănânce pietre.

Și în iunie anul trecut, doi avocați au fost amendați cu 5.000 de dolari de un judecător american, după ce unul dintre ei a recunoscut că a folosit ChatGPT pentru a crea un document juridic. Chatbot-ul a introdus citate false în document, referindu-se la cazuri inexistente.

O veste bună pentru avocați, giganți ai motoarelor de căutare și companii aeriene: Cel puțin unele tipuri de halucinații ale inteligenței artificiale ar putea deveni în curând de domeniul trecutului. Noile rezultate ale cercetărilor, publicate miercuri în revista științifică Nature, descriu o nouă metodă de detectare a halucinațiilor inteligenței artificiale.

Metoda este capabilă să facă distincția între răspunsurile corecte și cele greșite generate de inteligența artificială în aproximativ 79% din cazuri - cu aproximativ zece puncte procentuale mai mult decât alte metode de vârf. Deși metoda abordează doar una dintre cauzele halucinațiilor IA și necesită aproximativ de zece ori mai multă putere de calcul decât o conversație standard cu un chatbot, rezultatele ar putea deschide calea pentru sisteme AI mai fiabile.

Here is the heading translated to Romanian:

„Obiectivul meu este să deschid căi prin care modelele lingvistice mari să poată fi utilizate acolo unde în prezent nu sunt utilizate – unde este necesară o fiabilitate mai mare decât cea disponibilă în prezent”, spune Sebastian Farquhar, unul dintre autorii studiului și Senior Research Fellow la Departamentul de Informatică al Universității Oxford, unde a fost realizată cercetarea.

Farquhar este și cercetător în echipa de securitate de la Google DeepMind. Despre avocatul care a fost pedepsit din cauza unei halucinații ChatGPT, Farquhar spune: „Acest lucru l-ar fi ajutat”.

Der Begriff „Halluzination“ hat in der Welt der KI an Bedeutung gewonnen, ist jedoch auch umstritten. Er impliziert, dass Modelle eine Art subjektive Welterfahrung haben, was die meisten Informatiker verneinen. Außerdem suggeriert er, dass Halluzinationen eine lösbare Eigenart und kein grundlegendes Problem von großen Sprachmodellen sind. Farquhars Team konzentrierte sich auf eine spezifische Kategorie von Halluzinationen, die sie „Konfabulationen“ nennen.

Termenul „halucinație” a câștigat importanță în lumea inteligenței artificiale, dar este și controversat. El implică faptul că modelele au un fel de experiență subiectivă a lumii, ceea ce majoritatea informaticienilor neagă. De asemenea, sugerează că halucinațiile sunt o caracteristică ce poate fi rezolvată și nu o problemă fundamentală a modelelor lingvistice mari. Echipa lui Farquhar s-a concentrat pe o categorie specifică de halucinații pe care le numesc „confabulații”.

Acest lucru apare atunci când un model de inteligență artificială dă răspunsuri false inconsistente la o întrebare factuală, spre deosebire de răspunsurile false consistente, care sunt mai degrabă atribuite problemelor legate de datele de antrenament ale modelului sau erorilor structurale în logica modelului.

Metoda de detectare a confabulațiilor este relativ simplă. În primul rând, chatbot-ul este rugat să ofere mai multe răspunsuri la aceeași intrare. Apoi, cercetătorii folosesc un alt model lingvistic pentru a grupa aceste răspunsuri în funcție de semnificația lor.

Cercetătorii calculează apoi un indicator pe care îl numesc „entropie semantică” – o măsură a cât de asemănătoare sau diferite sunt semnificațiile răspunsurilor. O entropie semantică mare sugerează că modelul confabulează.

Metoda de detectare a entropiei semantice a depășit alte abordări pentru detectarea halucinațiilor AI. Farquhar are câteva idei despre cum ar putea entropia semantică să ajute la reducerea halucinațiilor în chatboții de top.

El crede că acest lucru ar putea permite teoretic adăugarea unui buton pentru OpenAI, care să permită utilizatorilor să evalueze certitudinea unui răspuns. Metoda ar putea fi, de asemenea, integrată în alte instrumente care utilizează inteligența artificială în medii foarte sensibile, unde acuratețea este esențială.

În timp ce Farquhar este optimist, unii experți avertizează să nu se supraestimeze efectul imediat. Arvind Narayanan, profesor de informatică la Universitatea Princeton, subliniază provocările integrării acestei cercetări în aplicații reale.

El subliniază că halucinațiile reprezintă o problemă fundamentală în funcționarea modelelor lingvistice mari și că este puțin probabil ca această problemă să fie complet rezolvată în viitorul apropiat.