Nuolatinis iššūkis šiandieninėms generatyvinėms dirbtinio intelekto (DI) sistemoms, tokioms kaip ChatGPT, yra tas, kad jos dažnai pasitikinčiai teigia neteisingą informaciją. Šis elgesys, kurį kompiuterių mokslininkai vadina „haliucinacija“, yra esminė kliūtis DI naudingumui.
Halluzinacijų pasekmės jau yra sukėlusios keletą nemalonių viešųjų incidentų. Vasario mėnesį „Air Canada“ buvo įpareigota tribunolo pripažinti nuolaidą, kurią jos klientų aptarnavimo pokalbių robotas per klaidą pasiūlė keleiviui.
Im Mai musste Google Änderungen an seiner neuen Suchfunktion „AI Overviews“ vornehmen, nachdem der Bot einigen Nutzern mitgeteilt hatte, es sei sicher, Steine zu essen.
Gegužę Google turėjo pakeisti savo naują paieškos funkciją „AI Overviews“, kai bot'as kai kuriems naudotojams pranešė, kad saugu valgyti akmenis.
Praėjusių metų birželį du advokatai buvo nubausti 5 000 dolerių bauda JAV teisėjo, kai vienas iš jų prisipažino naudojęs ChatGPT, kad padėtų rengti ieškinio pareiškimą. Pokalbių robotas į dokumentą įtraukė padirbtų citatų, nurodančių neegzistuojančias bylas.
Gera žinia advokatams, paieškos sistemų milžinams ir avialinijoms: bent kai kurios dirbtinio intelekto haliucinacijų rūšys netrukus galėtų likti praeityje. Nauji moksliniai tyrimai, paskelbti trečiadienį moksliniame žurnale „Nature“, aprašo naują metodą dirbtinio intelekto haliucinacijoms aptikti.
Here's the translation of the heading to Lithuanian:
Metodas gali atskirti tarp teisingų ir klaidingų KI sugeneruotų atsakymų maždaug 79 procentuose atvejų – apie dešimt procentinių punktų daugiau nei kitos pirmaujančios metodikos. Nors metodas sprendžia tik vieną iš KI haliucinacijų priežasčių ir reikalauja maždaug dešimt kartų daugiau skaičiavimo galios nei standartinis pokalbis su chatbot'u, rezultatai galėtų nutiesti kelią patikimesnėms KI sistemoms.
„Mano tikslas yra rasti būdų, kaip didelius kalbos modelius naudoti ten, kur jie šiuo metu nenaudojami – kur reikia didesnio patikimumo nei šiuo metu prieinamas“, sako Sebastianas Farquharas, vienas iš tyrimo autorių ir vyresnysis mokslinis bendradarbis Oksfordo universiteto Informatikos skyriuje, kur buvo atlikta ši tyrimas.
Farquhar taip pat yra „Google DeepMind“ saugumo komandos tyrėjas. Apie advokatą, kuris buvo nubaustas dėl ChatGPT haliucinacijos, Farquhar sako: „Tai būtų jam padėję.“
Terminas „haliucinacija“ įgijo reikšmę dirbtinio intelekto pasaulyje, tačiau taip pat yra ginčytinas.
Tai atsitinka, kai KI modelis pateikia nenuoseklius neteisingus atsakymus į faktinį klausimą, priešingai nei nuosekliai neteisingi atsakymai, kurie labiau susiję su problemomis modelio mokymo duomenyse arba struktūrinėmis klaidomis modelio logikoje.
Metodas konfabuliacijoms atpažinti yra gana paprastas. Pirmiausia, pokalbių robotas prašomas pateikti kelis atsakymus į tą pačią užklausą. Tada tyrėjai naudoja kitą kalbos modelį, kad šiuos atsakymus sugrupuotų pagal jų reikšmę.
Mokslininkai tada apskaičiuoja rodiklį, kurį jie vadina „semantine entropija“ – matą, rodantį, kiek atsakymų prasmės yra panašios arba skirtingos. Didelė semantinė entropija rodo, kad modelis kuria prasimanymus.
Metodas semantinei entropijai aptikti pranoko kitus požiūrius į dirbtinio intelekto haliucinacijų atpažinimą. Farquhar turi keletą idėjų, kaip semantinė entropija galėtų padėti sumažinti haliucinacijas pagrindiniuose pokalbių robotuose.
Jis tiki, kad tai teoriškai leistų OpenAI pridėti mygtuką, kuriuo naudotojai galėtų įvertinti atsakymo patikimumą. Metodas taip pat galėtų būti integruotas į kitus įrankius, kurie naudoja dirbtinį intelektą itin svarbiose aplinkose, kur tikslumas yra esminis.
Kol Farquhar išlieka optimistiškas, kai kurie ekspertai įspėja nepervertinti tiesioginio poveikio. Arvindas Narayananas, Prinstono universiteto informatikos profesorius, pabrėžia iššūkius, susijusius su šių tyrimų integravimu į realias programas.
Jis pažymi, kad haliucinacijos yra pagrindinė didelių kalbos modelių veikimo problema ir kad artimiausiu metu šios problemos visiškai išspręsti nebus galima.
