Microsoft Corp. podejmuje działania, aby zapobiegać skłanianiu chatbotów opartych na sztucznej inteligencji do niezwykłego lub szkodliwego zachowania za pomocą sztuczek. W wpisie na blogu z czwartku firma z siedzibą w Redmond, Waszyngton, ogłosiła nowe funkcje bezpieczeństwa dla Azure AI Studio. Narzędzie to umożliwia programistom tworzenie spersonalizowanych asystentów AI z wykorzystaniem własnych danych.

Do nowych narzędzi należą "tarcze promptów", zaprojektowane do wykrywania i blokowania celowych prób – tak zwanych ataków przez iniekcję promptów lub jailbreaków – które mają na celu skłonienie modelu AI do niezamierzonego zachowania.

Microsoft zajmuje się również „pośrednimi iniekcjami promptów”, podczas których hakerzy wstrzykują szkodliwe instrukcje do danych, na których model jest trenowany, i w ten sposób skłaniają go do nieautoryzowanych działań, takich jak kradzież informacji o użytkownikach lub przejęcie kontroli nad systemem.

Takie ataki stanowią według Sary Bird, głównego dyrektora produktu Microsoftu ds. odpowiedzialnej sztucznej inteligencji, unikalne wyzwanie i zagrożenie. Nowe środki obronne są zaprojektowane do rozpoznawania podejrzanych wejść i blokowania ich w czasie rzeczywistym.

Ponadto Microsoft wprowadza funkcję ostrzegającą użytkowników, gdy model wymyśla informacje lub generuje błędne odpowiedzi. Microsoft dąży do zwiększenia zaufania do swoich generatywnych narzędzi AI, które są wykorzystywane zarówno przez konsumentów, jak i klientów korporacyjnych.

W lutym firma badała incydenty z jej chatbotem Copilotem, który generował odpowiedzi od dziwnych po szkodliwe. Po przeanalizowaniu incydentów, Microsoft oświadczył, że użytkownicy celowo próbowali skłonić Copilota do takich odpowiedzi.

Microsoft jest największym inwestorem OpenAI i uczynił partnerstwo kluczowym elementem swojej strategii AI. Bird podkreślił, że Microsoft i OpenAI są zaangażowani w bezpieczne stosowanie AI i integrują środki ochronne w duże modele językowe, które są podstawą generatywnej AI. "Nie można jednak polegać wyłącznie na modelu", powiedziała. "Te jailbreaki, na przykład, są wrodzoną słabością technologii modeli."