Vztrajni izziv pri današnjih generativnih umetnih inteligencah (UI), kot je ChatGPT, je, da pogosto samozavestno trdijo napačne informacije. To vedenje, ki ga računalničarji imenujejo "halucinacija", predstavlja bistveno oviro za uporabnost UI.
Here is the heading translated to Slovene:
Halucinacije so že privedle do nekaterih neprijetnih javnih incidentov. Februarja je bilo podjetje Air Canada prisiljeno s strani tribunala priznati popust, ki ga je njegov klepetalni robot za podporo strankam pomotoma ponudil potniku.
V maju je moral Google spremeniti svojo novo iskalno funkcijo „AI Overviews“, potem ko je bot nekaterim uporabnikom sporočil, da je varno jesti kamne.
In juniju lanskega leta je ameriški sodnik dvema odvetnikoma naložil denarno kazen v višini 5.000 dolarjev, potem ko je eden izmed njiju priznal, da je za pomoč pri pripravi tožbe uporabljal ChatGPT. Chatbot je v vložitev vključil lažne navedke, ki so se nanašali na nikoli obstoječe primere.
Dobra novica za odvetnike, velikane med iskalniki in letalske družbe: Nekatere vrste halucinacij umetne inteligence bi lahko kmalu postale preteklost. V novi raziskavi, objavljeni v sredo v znanstveni reviji Nature, je opisana nova metoda za odkrivanje halucinacij umetne inteligence.
Metoda lahko v približno 79 odstotkih primerov razlikuje med pravilnimi in napačnimi odgovori, ki jih generira umetna inteligenca – približno deset odstotnih točk višje kot druge vodilne metode. Čeprav metoda naslavlja le enega od vzrokov za halucinacije umetne inteligence in zahteva približno desetkrat več računske moči kot standardni pogovor z chatbotom, bi lahko rezultati utrli pot za zanesljivejše sisteme umetne inteligence.
„Moj cilj je odpreti poti za uporabo velikih jezikovnih modelov tam, kjer se trenutno ne uporabljajo – tam, kjer je potrebna večja zanesljivost, kot je trenutno na voljo,“ pravi Sebastian Farquhar, eden od avtorjev študije in višji raziskovalec na Oddelku za informatiko Univerze v Oxfordu, kjer je bila raziskava izvedena.
Farquhar je tudi raziskovalec v varnostni ekipi Google DeepMind. O odvetniku, ki je bil kaznovan zaradi halucinacije ChatGPT, Farquhar pravi: "To bi mu pomagalo.
Pojem ‚halucinacije‘ je v svetu umetne inteligence pridobil na pomenu, je pa tudi sporen.
Do tega pride, kadar model umetne inteligence podaja neskladne napačne odgovore na faktološko vprašanje, v nasprotju s skladnimi napačnimi odgovori, ki so bolj posledica težav z učnimi podatki modela ali strukturnih napak v njegovi logiki.
Metoda za prepoznavanje konfabulacij je razmeroma preprosta. Najprej se klepetalnik zaprosi, da poda več odgovorov na isti vnos. Nato raziskovalci uporabijo drug jezikovni model za razvrščanje teh odgovorov glede na njihov pomen.
Raziskovalci nato izračunajo kazalnik, ki ga imenujejo "semantična entropija" – merilo za to, kako podobni ali različni so pomeni odgovorov. Visoka semantična entropija nakazuje, da model konfabulira.
Metoda za zaznavanje semantične entropije je presegla druge pristope za zaznavanje halucinacij umetne inteligence. Farquhar ima nekaj idej, kako bi semantična entropija lahko pomagala zmanjšati halucinacije v vodilnih chatbotih.
Verjame, da bi to teoretično lahko omogočilo dodajanje gumba OpenAI, s katerim bi uporabniki lahko ocenili zanesljivost odgovora. Metoda bi se lahko vključila tudi v druga orodja, ki uporabljajo umetno inteligenco v zelo občutljivih okoljih, kjer je natančnost ključnega pomena.
Medtem ko je Farquhar optimističen, nekateri strokovnjaki opozarjajo, naj ne precenjujemo takojšnjih učinkov. Arvind Narayanan, profesor računalništva na Univerzi Princeton, poudarja izzive pri vključevanju te raziskave v resnične aplikacije.
Opozarja, da so halucinacije temeljni problem delovanja velikih jezikovnih modelov in da je malo verjetno, da bo ta problem v bližnji prihodnosti popolnoma rešen.
