Trvalou výzvou současných generativních umělých inteligencí (AI), jako je ChatGPT, je to, že často sebevědomě tvrdí nesprávné informace. Toto chování, které informatici označují jako „halucinaci“, představuje podstatnou překážku pro užitečnost AI.
Halucinace již vedly k několika trapným veřejným incidentům. V únoru bylo Air Canada tribunálem přikázáno uznat slevu, kterou jeho chatovací robot zákaznické podpory omylem nabídl cestujícímu.
V květnu musel Google provést změny ve své nové funkci vyhledávání „AI Overviews“, poté co bot některým uživatelům sdělil, že je bezpečné jíst kameny.
A v červnu loňského roku byli dva právníci odsouzeni americkým soudcem k pokutě ve výši 5 000 dolarů poté, co jeden z nich přiznal, že použil ChatGPT k vytvoření žalobního návrhu. Chatbot do podání vložil falešné citace odkazující na neexistující případy.
Dobrá zpráva pro právníky, vyhledávací obry a letecké společnosti: Alespoň některé druhy halucinací umělé inteligence by mohly brzy patřit minulosti. Nový výzkum, který byl ve středu zveřejněn v odborném vědeckém časopise Nature, popisuje novou metodu detekce halucinací umělé inteligence.
Metoda dokáže rozlišit mezi správnými a nesprávnými odpověďmi generovanými KI v přibližně 79 procentech případů – o přibližně deset procentních bodů více než jiné přední metody. I když metoda řeší pouze jednu z příčin halucinací KI a vyžaduje přibližně desetkrát více výpočetního výkonu než standardní konverzace chatbotu, výsledky by mohly položit základy pro spolehlivější systémy KI.
„Mým cílem je najít způsoby, jak využít velké jazykové modely tam, kde se nyní nevyužívají – kde je zapotřebí o něco větší spolehlivost, než je v současnosti dostupná,“ říká Sebastian Farquhar, jeden z autorů studie a vedoucí vědecký pracovník na katedře informatiky Oxfordské univerzity, kde byl výzkum proveden.
Farquhar je také výzkumníkem v týmu bezpečnosti Google DeepMind. O právníkovi, který byl potrestán kvůli halucinaci ChatGPT, Farquhar říká: „Tohle by mu pomohlo.“
Termín „halucinace“ nabýval na významu ve světě umělé inteligence, avšak je také kontroverzní. Implikuje, že modely mají jakýsi subjektivní zážitek světa, což většina informatiků popírá. Také naznačuje, že halucinace jsou řešitelnou zvláštností, a nikoliv základním problémem velkých jazykových modelů. Farquharův tým se zaměřil na konkrétní kategorii halucinací, které označují jako „konfabulace“.
K tomu dochází, když model AI poskytuje nekonzistentní nesprávné odpovědi na faktickou otázku, na rozdíl od konzistentních nesprávných odpovědí, které jsou spíše způsobeny problémy s tréninkovými daty modelu nebo strukturálními chybami v logice modelu.
Metoda rozpoznávání konfabulací je relativně jednoduchá. Nejprve je chatbot požádán, aby poskytl několik odpovědí na stejný vstup. Poté výzkumníci používají jiný jazykový model k seskupení těchto odpovědí podle jejich významu.
Výzkumníci poté vypočítají ukazatel, který nazývají „sémantická entropie“ – měřítko toho, jak podobné nebo odlišné jsou významy odpovědí. Vysoká sémantická entropie naznačuje, že model konfabuloval.
Metoda pro rozpoznávání sémantické entropie překonala jiné přístupy k detekci halucinací AI. Farquhar má několik nápadů, jak by sémantická entropie mohla pomoci snížit halucinace v předních chatbotech.
Věří, že by to teoreticky mohlo umožnit společnosti OpenAI přidat tlačítko, kterým by uživatelé mohli hodnotit jistotu odpovědi. Tuto metodu by bylo možné integrovat i do jiných nástrojů, které používají AI ve vysoce citlivých prostředích, kde je přesnost klíčová.
Zatímco je Farquhar optimistický, někteří odborníci varují před přeceňováním okamžitého účinku. Arvind Narayanan, profesor informatiky na Princeton University, zdůrazňuje výzvy při integraci tohoto výzkumu do reálných aplikací.
Upozorňuje na to, že halucinace představují zásadní problém fungování velkých jazykových modelů a že je nepravděpodobné, že by tento problém byl v blízké budoucnosti zcela vyřešen.
