En ihållande utmaning med dagens generativa artificiella intelligens (AI) som ChatGPT är att de ofta självsäkert hävdar felaktig information. Detta beteende, som datavetare kallar "hallucination", utgör ett väsentligt hinder för AI:s användbarhet.
Hallucinationer har redan lett till några pinsamma offentliga incidenter. I februari blev Air Canada ålagt av en tribunal att erkänna en rabatt som dess kundservice-chattbot felaktigt hade erbjudit en passagerare.
I maj var Google tvungen att göra ändringar i sin nya sökfunktion „AI Översikter“ efter att boten hade meddelat vissa användare att det var säkert att äta stenar.
Och i juni förra året dömdes två advokater av en amerikansk domare till böter på 5 000 dollar, efter att en av dem erkänt att han använt ChatGPT för att hjälpa till med att skriva en stämningsansökan. Chatboten hade infogat falska citat i ansökan som hänvisade till fall som aldrig existerat.
En god nyhet för advokater, sökmotorjättar och flygbolag: Åtminstone vissa typer av AI-hallucinationer kan snart vara ett minne blott. Ny forskning, som publicerades i den vetenskapliga tidskriften Nature på onsdag, beskriver en ny metod för att upptäcka AI-hallucinationer.
Metoden kan skilja mellan korrekta och felaktiga AI-genererade svar i cirka 79 procent av fallen – ungefär tio procentenheter högre än andra ledande metoder. Även om metoden bara adresserar en av orsakerna till AI-hallucinationer och kräver ungefär tio gånger mer beräkningskraft än en standardchattbotkonversation, kan resultaten bana väg för mer tillförlitliga AI-system.
Mitt mål är att hitta sätt att använda stora språkmodeller där de för närvarande inte används – där det krävs något mer tillförlitlighet än vad som för närvarande är tillgängligt", säger Sebastian Farquhar, en av författarna till studien och Senior Research Fellow vid avdelningen för datavetenskap vid Oxfords universitet, där forskningen genomfördes.
Farquhar är också forskare i säkerhetsteamet på Google DeepMind. Om advokaten som straffades på grund av en ChatGPT-hallucination säger Farquhar: "Detta skulle ha hjälpt honom.
Denna rubrik på svenska skulle kunna lyda:
"Begreppet 'hallucination' har fått ökat betydelse inom AI-världen men är också omstritt. Det antyder att modeller har en slags subjektiv världserfarenhet, vilket de flesta datavetare förnekar. Dessutom antyder det att hallucinationer är en lösbar egenskap och inte ett grundläggande problem med stora språkmodeller. Farquhars team fokuserade på en specifik kategori av hallucinationer som de kallar 'konfabulationer'.
Dies tritt auf, wenn ein KI-Modell inkonsistente falska svar på en faktabaserad fråga ger, i motsats till konsistenta falska svar, som snarare beror på problem med modellens träningsdata eller strukturella fel i modellens logik.
Metoden för att upptäcka konfabuleringar är relativt enkel. Först ombeds chatbotten att ge flera svar på samma inmatning. Sedan använder forskarna en annan språkmodell för att gruppera dessa svar efter deras innebörd.
Forskarna beräknar sedan ett mått som de kallar "semantisk entropi" – ett mått på hur lika eller olika betydelsen av svaren är. En hög semantisk entropi indikerar att modellen hittar på.
Here is the heading translated to Swedish:
Metoden för att upptäcka semantisk entropi överträffade andra tillvägagångssätt för att upptäcka AI-hallucinationer. Farquhar har några idéer om hur semantisk entropi skulle kunna hjälpa till att minska hallucinationer i ledande chattbotar.
Han tror att detta teoretiskt skulle kunna möjliggöra för OpenAI att lägga till en knapp för användare att bedöma säkerheten i ett svar. Metoden kan också integreras i andra verktyg som använder AI i högkänsliga miljöer där noggrannhet är avgörande.
Under tiden som Farquhar är optimistisk, varnar några experter för att överskatta den omedelbara effekten. Arvind Narayanan, professor i datavetenskap vid Princeton University, betonar utmaningarna med att integrera denna forskning i verkliga applikationer.
Han påpekar att hallucinationer är ett grundläggande problem för hur stora språkmodeller fungerar och att det är osannolikt att detta problem kommer att bli helt löst inom en snar framtid.
