Nykyisten generatiivisten tekoälyjärjestelmien, kuten ChatGPT:n, jatkuva haaste on niiden taipumus esittää vääriä tietoja itsevarmasti. Tämä ilmiö, jota tietojenkäsittelytieteen asiantuntijat kutsuvat "hallusinaatioksi", on merkittävä este tekoälyn hyödyllisyydelle.
Hallusinaatiot ovat jo johtaneet joihinkin kiusallisiin julkisiin välikohtauksiin. Helmikuussa Air Canada määrättiin tuomioistuimen toimesta tunnustamaan alennus, jonka sen asiakaspalveluchatbotti oli virheellisesti tarjonnut matkustajalle.
Toukokuussa Google joutui tekemään muutoksia uuteen hakutoimintoonsa “AI Overviews”, kun botti kertoi joillekin käyttäjille, että kivien syöminen on turvallista.
Ja viime vuoden kesäkuussa yhdysvaltalainen tuomari tuomitsi kaksi asianajajaa 5 000 dollarin sakkoihin sen jälkeen, kun toinen heistä oli myöntänyt käyttäneensä ChatGPT:tä apuna kannekirjelmän laatimisessa. Chatbot oli lisännyt hakemukseen väärennettyjä lainauksia, jotka viittasivat olemattomiin tapauksiin.
Hyviä uutisia lakimiehille, hakukonejättiläisille ja lentoyhtiöille: Ainakin jotkin KAI-harhaisten muodot saattavat pian olla menneisyyttä. Uudet tutkimustulokset, jotka julkaistiin keskiviikkona tieteellisessä aikakauslehdessä Nature, kuvaavat uuden menetelmän KAI-harhojen tunnistamiseen.
Menetelmä pystyy erottamaan oikeat ja virheelliset tekoälyn tuottamat vastaukset noin 79 prosentissa tapauksista – noin kymmenen prosenttiyksikköä paremmin kuin muut johtavat menetelmät. Vaikka menetelmä käsittelee vain yhden tekoälyhallusinaatioiden syistä ja vaatii noin kymmenen kertaa enemmän laskentatehoa kuin tavallinen chatbot-keskustelu, tulokset voivat raivata tietä luotettavammille tekoälyjärjestelmille.
„Tavoitteenani on avata keinoja suuren mittakaavan kielimallien hyödyntämiselle siellä, missä niitä tällä hetkellä ei käytetä – missä vaaditaan hieman enemmän luotettavuutta kuin nykyisin saatavilla“, sanoo Sebastian Farquhar, yksi tutkimuksen kirjoittajista ja vanhempi tutkija Oxfordin yliopiston tietojenkäsittelytieteen laitoksella, jossa tutkimus tehtiin.
Farquhar on myös tutkija Google DeepMindin turvallisuustiimissä. Asianajajasta, joka rangaistiin ChatGPT-harhasta, Farquhar sanoo: "Tämä olisi auttanut häntä.
Käsite "hallusinaatio" on saanut merkitystä tekoälyn maailmassa, mutta se on myös kiistanalainen.
Tämä tapahtuu, kun tekoälymalli antaa ristiriitaisia vääriä vastauksia tosiasioihin perustuviin kysymyksiin, toisin kuin johdonmukaiset väärät vastaukset, jotka johtuvat todennäköisemmin mallin koulutusdatan ongelmista tai mallin logiikan rakenteellisista virheistä.
Menetelmä konfabulointien tunnistamiseen on suhteellisen yksinkertainen. Ensin chatbotia pyydetään antamaan useita vastauksia samaan syötteeseen. Sitten tutkijat käyttävät toista kielimallia ryhmittelemään nämä vastaukset niiden merkityksen mukaan.
Tutkijat laskevat sitten tunnusluvun, jota he kutsuvat "semanttiseksi entropiaksi" – mittaamaan, kuinka samanlaisia tai erilaisia vastausten merkitykset ovat. Korkea semanttinen entropia viittaa siihen, että malli sepittää.
Menetelmä semanttisen entropian tunnistamiseksi ylitti muut lähestymistavat tekoälyhallusinaatioiden havaitsemiseksi. Farquharilla on muutamia ideoita siitä, kuinka semanttinen entropia voisi auttaa vähentämään hallusinaatioita johtavissa chatboteissa.
Er glaubt, dass dies es theoretisch ermöglichen könnte, OpenAI eine Schaltfläche hinzuzufügen, mit der Benutzer die Gewissheit einer Antwort bewerten können. Die Methode könnte auch in andere Tools integriert werden, die KI in hochsensiblen Umgebungen verwenden, wo Genauigkeit entscheidend ist.
Suomeksi:
Hän uskoo, että tämä voisi teoriassa mahdollistaa sen, että OpenAI:hin lisätään painike, jonka avulla käyttäjät voivat arvioida vastauksen varmuutta. Menetelmää voitaisiin myös integroida muihin työkaluihin, jotka käyttävät tekoälyä herkästi reagoivissa ympäristöissä, joissa tarkkuus on ratkaisevan tärkeää.
Translate the following heading to Finnish:
Samalla kun Farquhar on optimistinen, jotkut asiantuntijat varoittavat yliarvioimasta välitöntä vaikutusta. Arvind Narayanan, tietojenkäsittelytieteen professori Princetonin yliopistosta, korostaa tämän tutkimuksen integroimisen todellisiin sovelluksiin liittyviä haasteita.
Hän huomauttaa, että hallusinaatiot ovat suuri kielellisten mallien toiminnan perusongelma, eikä ole todennäköistä, että tämä ongelma ratkaistaan täysin lähitulevaisuudessa.
