Постійний виклик для сучасних генеративних штучних інтелектів (ШІ), таких як ChatGPT, полягає в тому, що вони часто самовпевнено стверджують неправдиву інформацію. Цю поведінку, яку фахівці з комп'ютерних наук називають «галюцинацією», є суттєвою перешкодою для корисності ШІ.
Галюцинації вже призвели до деяких незручних публічних інцидентів. У лютому трибунал зобов'язав Air Canada визнати знижку, яку помилково запропонував чат-бот служби підтримки клієнтів одному з пасажирів.
У травні Google довелося внести зміни в свою нову функцію пошуку «AI Overviews» після того, як бот повідомив деяким користувачам, що їсти каміння безпечне.
У червні минулого року двоє адвокатів були оштрафовані американським суддею на 5000 доларів після того, як один із них зізнався, що використовував ChatGPT для допомоги у складанні позовної заяви. Чат-бот вставив у подання фальшиві цитати, що посилалися на неіснуючі справи.
Ось хороша новина для адвокатів, гігантів пошукових систем і авіакомпаній: принаймні деякі види галюцинацій ШІ можуть незабаром залишитися в минулому. Нові дослідження, опубліковані в середу у науковому журналі Nature, описують новий метод виявлення галюцинацій ШІ.
Метод здатний відрізнити правильні відповіді, згенеровані штучним інтелектом, від неправильних у приблизно 79 відсотках випадків – приблизно на десять відсоткових пунктів більше, ніж інші провідні методи. Хоча метод охоплює лише одну з причин галюцинацій ШІ та вимагає приблизно вдесятеро більше обчислювальної потужності, ніж стандартна розмова з чат-ботом, результати можуть прокласти шлях до більш надійних систем ШІ.
«Моя мета полягає в тому, щоб відкрити шляхи для використання великих мовних моделей там, де вони наразі не використовуються, – де потрібна більша надійність, ніж зараз доступна», – говорить Себастьян Фарквар, один з авторів дослідження та старший науковий співробітник відділу інформатики Оксфордського університету, де було проведено дослідження.
Фаркуар також є дослідником у команді з кібербезпеки Google DeepMind. Про адвоката, який був покараний через галюцинацію ChatGPT, Фаркуар сказав: «Це б йому допомогло.»
Термін "галюцинація" набув значного значення у світі штучного інтелекту, але також є спірним. Він припускає, що моделі мають своєрідний суб'єктивний досвід світу, що більшість інформатиків заперечують. Крім того, він наводить на думку, що галюцинації є вирішуваною особливістю, а не фундаментальною проблемою великих мовних моделей. Команда Фаркуара зосередилася на конкретній категорії галюцинацій, які вони називають "конфабуляціями".
Це трапляється, коли модель штучного інтелекту дає непослідовні неправильні відповіді на фактичне питання, на відміну від послідовних неправильних відповідей, які, швидше за все, пов’язані з проблемами з навчальними даними моделі або структурними помилками в логіці моделі.
Метод розпізнавання конфабуляцій є відносно простим. Спочатку чат-бота просять дати кілька відповідей на один і той самий запит. Потім дослідники використовують іншу мовну модель, щоб згрупувати ці відповіді за їхнім значенням.
Дослідники розраховують потім показник, який вони називають «семантичною ентропією» – мірою того, наскільки схожі або відмінні значення відповідей. Висока семантична ентропія вказує на те, що модель конструює.
Метод розпізнавання семантичної ентропії перевершив інші підходи до виявлення галюцинацій штучного інтелекту. Фаркуар має декілька ідей, як семантична ентропія могла б допомогти зменшити галюцинації в провідних чатботах.
Він вважає, що це теоретично могло б дозволити додати кнопку в OpenAI, за допомогою якої користувачі можуть оцінювати впевненість у відповіді. Цей метод також можна інтегрувати в інші інструменти, які використовують ШІ в високочутливих середовищах, де точність має вирішальне значення.
Поки Фаркуар оптимістичний, деякі експерти застерігають від переоцінки негайного ефекту. Арвінд Нараянан, професор інформатики в Прінстонському університеті, наголошує на складнощах інтеграції цього дослідження в реальні застосування.
Він зазначає, що галюцинації є фундаментальною проблемою функціонування великих мовних моделей і що найближчим часом малоймовірно, що цю проблему буде повністю вирішено.
