Корпорація Microsoft вживає заходів, щоб запобігти маніпуляціям з чат-ботами на основі штучного інтелекту, що можуть призвести до незвичайної або шкідливої поведінки. У блозі в четвер компанія з штаб-квартирою у Редмонді, штат Вашингтон, анонсувала нові функції безпеки для Azure AI Studio. Цей інструмент дозволяє розробникам створювати призначені для користувача AI-асистентів за допомогою власних даних.

До нових інструментів належать "Щити від запитів", які призначені для виявлення і блокування навмисних спроб - так званих атак ін’єкцією запитів чи джейлбрейків - спрямованих на те, щоб спровокувати штучний інтелект до непередбачуваної поведінки.

Microsoft також береться за "непрямі ін'єкції команд", при яких хакери вставляють шкідливі інструкції в дані, на яких навчається модель, та таким чином спонукають її до несанкціонованих дій, як-от крадіжка інформації користувачів або захоплення системи.

Такі атаки, за словами Сари Бьорд, головного директора з продуктів відповідального ШІ в Microsoft, становлять унікальний виклик та загрозу. Нові заходи захисту призначені для виявлення підозрілих даних та їх блокування в реальному часі.

Крім того, Microsoft вводить функцію, яка попереджає користувачів, коли модель вигадує відповіді або генерує помилкові реакції. Microsoft прагне зміцнити довіру до своїх генеративних інструментів штучного інтелекту, які використовуються як споживачами, так і корпоративними клієнтами.

У лютому компанія дослідила інциденти зі своїм чат-ботом-копілотом, який генерував відповіді від дивних до шкідливих. Після перегляду інцидентів Microsoft заявила, що користувачі навмисно намагалися спровокувати копілота на такі відповіді.

Microsoft є найбільшим інвестором OpenAI та перетворив партнерство на ключовий елемент своєї стратегії штучного інтелекту. Берд наголосила, що Microsoft та OpenAI присвячені безпечному застосуванню ШІ та інтегрують захисні заходи у великі мовні моделі, які лежать в основі генеративного ШІ. "Однак, не можна покладатися лише на модель", - сказала вона. "Ці Jailbreaks, наприклад, є вродженою слабкістю технології моделювання."