Püsiv väljakutse tänapäevaste generatiivsete tehisintellektide (TI) nagu ChatGPT puhul on see, et nad väidavad sageli enesekindlalt valeinfot. Seda käitumist, mida arvutiteadlased nimetavad "hallutsinatsiooniks", peetakse TI kasulikkuse oluliseks takistuseks.

Hallutsinatsioonid on juba viinud mõnede piinlike avalike intsidentideni. Veebruaris kohustas kohus Air Canadat tunnustama allahindlust, mida nende klienditeenindusrobot ekslikult reisijale pakkus.

Der Heading lautet auf Estnisch:
"Mais pidi Google tegema muudatusi oma uues otsingufunktsioonis „AI Ülevaated“, pärast seda, kui bot oli mõnele kasutajale teatanud, et kivide söömine on ohutu.

Ja seejärel mõistis USA kohtunik möödunud aasta juunis kahele advokaadile 5000 dollari suuruse rahatrahvi pärast seda, kui üks neist tunnistas, et oli kasutanud ChatGPT-d, et aidata kaasa hagiavalduse koostamisele. Vestlusrobot lisas avaldusse võltsitud viiteid, mis viitasid kunagi eksisteerinud juhtumitele.

Hea uudis advokaatidele, otsingumootorite gigantidele ja lennufirmadele: vähemalt mõned tehisintellekti hallutsinatsioonide liigid võivad varsti minevikku jääda. Kolmapäeval teadusajakirjas Nature avaldatud uued uurimistulemused kirjeldavad uut meetodit tehisintellekti hallutsinatsioonide tuvastamiseks.

Meetod suudab eristada korrektseid ja valesid tehisintellekti poolt genereeritud vastuseid umbes 79 protsendil juhtudest – umbes kümme protsendipunkti rohkem kui teised juhtivad meetodid. Kuigi meetod käsitleb ainult üht tehisintellekti hallutsinatsioonide põhjust ja vajab umbes kümme korda rohkem arvutusvõimsust kui tavaline vestlusrobot, võivad tulemused sillutada teed usaldusväärsematele tehisintellektisüsteemidele.

„Minu eesmärk on leida viise, kuidas suuri keelemudeleid saaks rakendada seal, kus neid praegu ei kasutata – kohtades, kus on vaja suuremat usaldusväärsust kui praegu võimalik“, ütleb Sebastian Farquhar, üks uuringu autoritest ja Oxfordi ülikooli informaatika osakonna vanemteadur, kus see uurimistöö viidi läbi.

Farquhar on ka Google DeepMindi turvatiimi teadlane. Advokaadi kohta, keda karistati ChatGPT hallutsinatsiooni tõttu, ütleb Farquhar: „See oleks teda aidanud.”

Mõiste „hallutsinatsioon“ on tehisintellekti maailmas olulisuse kogunud, kuid on ka vaieldav. See vihjab, et mudelid omavad teatud subjektiivset maailmakogemust, mida enamik informaatikuid eitab. Lisaks soovitab see, et hallutsinatsioonid on lahendatav iseärasus ega ole suurte keelemudelite põhiprobleem. Farquhari meeskond keskendus ühele konkreetsele hallutsinatsioonide kategooriale, mida nad nimetavad „konfabulatsioonideks“.

See tekib siis, kui tehisintellekti mudel annab faktiküsimusele mittekonsistentseid valesid vastuseid, erinevalt konsistentsetest valedest vastustest, mis viitavad pigem mudeli treeningandmete probleemidele või mudeli loogika struktuurilistele vigadele.

Meetod konfabuleerimise tuvastamiseks on suhteliselt lihtne. Esiteks palutakse vestlusrobotil anda mitu vastust samale sisendile. Seejärel kasutavad teadlased teist keelemudelit, et need vastused tähenduse järgi rühmadesse jaotada.

Seejärel arvutavad teadlased näitaja, mida nad nimetavad „semantiliseks entroopiaks“ – mõõt selle kohta, kui sarnased või erinevad vastuste tähendused on. Kõrge semantiline entroopia viitab sellele, et mudel fabuleerib.

Meetod semantilise entroopia tuvastamiseks ületas teisi KI-hallutsinatsioonide tuvastamise lähenemisviise. Farquharil on mõned ideed, kuidas semantiline entroopia võiks aidata hallutsinatsioone juhtivates vestlusrobotites vähendada.

Ta usub, et see võiks teoreetiliselt võimaldada OpenAI-le lisada nupp, millega kasutajad saaksid vastuse kindlust hinnata. Meetodit võiks integreerida ka teistesse tööriistadesse, mis kasutavad tehisintellekti väga tundlikes keskkondades, kus täpsus on otsustava tähtsusega.

Kuigi Farquhar on optimistlik, hoiatavad mõned eksperdid kohese mõju ületähtsustamise eest. Princetoni Ülikooli arvutiteaduse professor Arvind Narayanan rõhutab selle teadusuuringu rakendamise tegelikes oludes väljakutseid.

Ta juhib tähelepanu sellele, et hallutsinatsioonid on suurte keelemudelite toimimise põhiprobleem ja et on ebatõenäoline, et see probleem lähitulevikus täielikult lahendatakse.