Microsoft Corp. предприема мерки за предотвратяване на изкуствен интелект чатботове от провокиране към необичайно или вредно поведение чрез хитрости. В блог пост от четвъртък компанията със седалище в Redmond, Washington, обяви нови функции за сигурност за Azure AI Studio. Този инструмент позволява на разработчиците да създават персонализирани AI асистенти с техните собствени данни.

Към новите инструменти се включват „щитове за подкани“, които са създадени да разпознават и блокират умишлени опити – така наречените атаки с инжектиране на подкани или пробиви – които целят да накарат AI модела да се държи по непредвиден начин.

Microsoft се занимава също с "индиректните инжекции на подсказки", при които хакерите вмъкват вредоносни инструкции в данните, с които е трениран модел, и по този начин го подтикват към неоторизирани действия като кражба на информация за потребители или завземане на система.

Такива атаки представляват уникално предизвикателство и заплаха, според Сара Бърд, главен директор на продуктите за отговорна изкуствена интелигентност в Microsoft. Новите мерки за защита са проектирани да разпознават подозрителни входове и да ги блокират в реално време.

Освен това, Microsoft въвежда функция, която предупреждава потребителите, когато модел създава измислици или генерира грешни отговори. Microsoft се стреми да укрепи доверието в своите генеративни AI инструменти, използвани както от потребители, така и от бизнес клиенти.

През февруари компанията изследва инциденти със своя чатбот-копилот, който генерира от странни до вредни отговори. След прегледа на инцидентите, Microsoft обясни, че потребителите умишлено са се опитвали да провокират копилот да дава тези отговори.

Microsoft е най-големият инвеститор в OpenAI и превърна партньорството в ключов елемент на своята стратегия за изкуствен интелект. Bird подчерта, че Microsoft и OpenAI са посветени на безопасното използване на изкуствения интелект и интегрират защитни мерки в големите езикови модели, които са основа на генеративния ИИ. "Однако не може да се разчита само на модела", каза тя. "Тези 'jailbreaks', например, са вродена слабост на технологията на моделите."