Stalni izazov kod današnjih generativnih veštačkih inteligencija (KI) poput ChatGPT-a je to što često samouvereno tvrde netačne informacije. Ovo ponašanje, koje informatičari nazivaju „halucinacijom“, predstavlja značajnu prepreku za korisnost veštačke inteligencije.
Halucinacije su već dovele do nekoliko neprijatnih javnih incidenata. U februaru je Tribunal obavezao Air Canada da prizna popust koji je njihov chatbot za korisnički servis greškom ponudio jednom putniku.
U maju je Google morao da izvrši promene u svojoj novoj pretraživačkoj funkciji „AI Pregledi“, nakon što je bot nekim korisnicima rekao da je sigurno jesti kamenje.
A u junu prošle godine, dva advokata su osuđena na novčanu kaznu od 5.000 dolara od strane američkog sudije, nakon što je jedan od njih priznao da je koristio ChatGPT za pomoć pri izradi tužbe. Čatbot je ubacio lažne citate u podnesak, koji su se pozivali na nepostojeće slučajeve.
Dobra vest za advokate, gigante u oblasti pretraživača i avio-kompanije: Barem neke vrste KI halucinacija bi uskoro mogle postati prošlost. Nova istraživanja, objavljena u sredu u naučnom časopisu Nature, opisuju novu metodu za otkrivanje KI halucinacija.
Metoda je u stanju da razlikuje tačne i netačne KI-generisane odgovore u otprilike 79 procenata slučajeva – otprilike deset procenata više nego druge vodeće metode. Iako metoda rešava samo jedan od uzroka KI halucinacija i zahteva oko deset puta više računarske snage nego standardna konverzacija sa chatbotom, rezultati bi mogli utabati put za pouzdanije KI sisteme.
„Moj cilj je da otvorim puteve kako se veliki jezički modeli mogu primeniti tamo gde trenutno nisu - gde je potrebna veća pouzdanost nego što je trenutno dostupno“, kaže Sebastian Farquhar, jedan od autora studije i viši istraživač na Odeljenju za informatiku Univerziteta u Oksfordu, gde je istraživanje sprovedeno.
Farquhar je takođe istraživač u sigurnosnom timu Google DeepMind-a. O advokatu koji je kažnjen zbog halucinacije ChatGPT-a, Farquhar kaže: „Ovo bi mu pomoglo.“
Pojam "halucinacija" je stekao značaj u svetu veštačke inteligencije, ali je takođe i kontroverzan. Sugeriše da modeli imaju neku vrstu subjektivnog iskustva sveta, što većina informatičara negira. Takođe, implicira da su halucinacije rešiva karakteristika, a ne osnovni problem velikih jezičkih modela. Farquharov tim se fokusirao na specifičnu kategoriju halucinacija koju nazivaju "konfabulacije".
Ovo se dešava kada AI model daje nedosledne netačne odgovore na činjenično pitanje, za razliku od dosledno netačnih odgovora, koji su verovatnije posledica problema sa podacima za treniranje modela ili strukturnih grešaka u logici modela.
Metoda za prepoznavanje konfabulacija je relativno jednostavna. Prvo se traži od chatbota da da više odgovora na isti unos. Zatim istraživači koriste drugi jezički model da grupišu te odgovore prema njihovom značenju.
Istraživači zatim izračunavaju pokazatelj koji nazivaju „semantička entropija“ – meru za to koliko su slična ili različita značenja odgovora. Visoka semantička entropija ukazuje na to da model izmišlja informacije.
Metoda za prepoznavanje semantičke entropije nadmašila je druge pristupe za prepoznavanje AI halucinacija. Farquhar ima nekoliko ideja kako bi semantička entropija mogla pomoći u smanjenju halucinacija kod vodećih chatbota.
Veruje da bi ovo teoretski moglo omogućiti dodavanje dugmeta na OpenAI-u, pomoću kojeg bi korisnici mogli ocenjivati izvesnost odgovora. Metoda bi se takođe mogla integrisati u druge alate koji koriste veštačku inteligenciju u visokosenzitivnim okruženjima gde je tačnost presudna.
Dok je Farquhar optimističan, neki stručnjaci upozoravaju na precenjivanje neposrednog učinka. Arvind Narayanan, profesor informatike na Univerzitetu Prinston, ističe izazove pri integraciji ovog istraživanja u stvarne primene.
Ukazuje na to da halucinacije predstavljaju osnovni problem u funkcionisanju velikih jezičkih modela i da je malo verovatno da će ovaj problem biti potpuno rešen u bliskoj budućnosti.
