Trvajúca výzva pri dnešných generatívnych umelých inteligenciách (UI) ako ChatGPT spočíva v tom, že často sebavedome tvrdia nesprávne informácie. Toto správanie, ktoré informatici označujú ako „halucináciu“, predstavuje podstatnú prekážku pre užitočnosť UI.

Halucinácie už viedli k niekoľkým trápnym verejným incidentom. Vo februári leteckú spoločnosť Air Canada súdny tribunál zaviazal uznať zľavu, ktorú jej zákaznícky chatbot omylom ponúkol cestujúcemu.

Im Mai musste Google Änderungen an seiner neuen Suchfunktion „AI Overviews“ vornehmen, nachdem der Bot einigen Nutzern mitgeteilt hatte, es sei sicher, Steine zu essen.

V máji musel Google zmeniť svoju novú vyhľadávaciu funkciu „AI Overviews“ po tom, čo bot niektorým používateľom oznámil, že je bezpečné jesť kamene.

A v júni minulého roka dvaja právnici dostali od amerického sudcu pokutu vo výške 5 000 dolárov po tom, čo jeden z nich priznal, že na pomoc pri vytváraní žalobného návrhu použil ChatGPT. Chatbot vložil do podania falošné citácie, ktoré odkazovali na nikdy neexistujúce prípady.

Tu je preklad nadpisu do slovenčiny:
Dobrá správa pre právnikov, gigantov vyhľadávačov a letecké spoločnosti: Aspoň niektoré typy halucinácií umelej inteligencie by mohli čoskoro patriť minulosti. Nový výskum, ktorý bol v stredu zverejnený v odbornom vedeckom časopise Nature, popisuje novú metódu na detekciu halucinácií umelej inteligencie.

Metóda dokáže rozlíšiť správne a nesprávne odpovede generované umelou inteligenciou v približne 79 percentách prípadov – približne o desať percentuálnych bodov viac ako iné popredné metódy. Hoci táto metóda rieši iba jednu z príčin halucinácií AI a vyžaduje približne desaťnásobne viac výpočtového výkonu ako štandardná konverzácia s chatbotom, výsledky by mohli vydláždiť cestu k spoľahlivejším systémom AI.

„Mojím cieľom je otvoriť možnosti, ako môžu byť veľké jazykové modely použité tam, kde sa momentálne nepoužívajú – kde je potrebná o niečo väčšia spoľahlivosť, ako je v súčasnosti dostupná,“ hovorí Sebastian Farquhar, jeden z autorov štúdie a hlavný vedecký pracovník na katedre informatiky Univerzity v Oxforde, kde bol výskum uskutočnený.

Farquhar je tiež výskumníkom v bezpečnostnom tíme Google DeepMind. O právnikovi, ktorý bol potrestaný kvôli halucinácii ChatGPT, Farquhar hovorí: „Toto by mu pomohlo.“

Pojem „halucinácia“ získal vo svete umelej inteligencie na význame, ale je tiež kontroverzný. Naznačuje, že modely majú určitý druh subjektívneho vnímania sveta, čo väčšina informatikov popiera. Okrem toho naznačuje, že halucinácie sú riešiteľnou zvláštnosťou a nie základným problémom veľkých jazykových modelov. Tím Farquhara sa sústredil na špecifickú kategóriu halucinácií, ktoré nazývajú „konfabulácie“.

K tomu dochádza, keď KI model poskytuje nekonzistentné nesprávne odpovede na vecnú otázku, na rozdiel od konzistentných nesprávnych odpovedí, ktoré sú skôr spôsobené problémami s tréningovými dátami modelu alebo štrukturálnymi chybami v logike modelu.

Metóda na rozpoznávanie konfabulácií je relatívne jednoduchá. Najprv sa chatbot požiada, aby dal niekoľko odpovedí na rovnaký vstup. Potom vedci použijú iný jazykový model na zoskupenie týchto odpovedí podľa ich významu.

Vedci potom vypočítajú ukazovateľ, ktorý nazývajú „sémantická entropia“ – meradlo toho, ako podobné alebo odlišné sú významy odpovedí. Vysoká sémantická entropia naznačuje, že model konfabuluje.

Metóda na rozpoznávanie semantickej entropie prekonala iné prístupy k rozpoznávaniu halucinácií AI. Farquhar má niekoľko nápadov, ako by semantická entropia mohla pomôcť znížiť halucinácie v popredných chatbotov.

Verí, že by to teoreticky mohlo umožniť pridať tlačidlo do OpenAI, pomocou ktorého by používatelia mohli hodnotiť istotu odpovede. Metóda by sa mohla integrovať aj do iných nástrojov používaných v prostrediach s vysokou citlivosťou, kde je presnosť rozhodujúca.

Zatiaľ čo je Farquhar optimistický, niektorí experti varujú pred tým, aby sa nepreceňovali okamžité účinky. Arvind Narayanan, profesor informatiky na Princetonskej univerzite, zdôraznil výzvy pri integrácii tohto výskumu do reálnych aplikácií.

Upozorňuje na to, že halucinácie predstavujú základný problém fungovania veľkých jazykových modelov a že je nepravdepodobné, že tento problém bude v blízkej budúcnosti úplne vyriešený.