Spoločnosť Microsoft Corp. prijíma opatrenia, aby zabránila podnecovaniu umelej inteligencie chatbotov k nezvyčajnému alebo škodlivému správaniu trikmi. Vo štvrtkovom blogovom príspevku spoločnosť so sídlom v Redmonde vo Washingtone oznámila nové bezpečnostné funkcie pre Azure AI Studio. Tento nástroj umožňuje vývojárom vytvárať prispôsobené AI asistentov s vlastnými dátami.

Medzi nové nástroje patria „Ochranné štíty proti výzvam“, ktoré sú navrhnuté tak, aby rozpoznávali a blokovali úmyselné pokusy - tzv. útoky injekciou výziev alebo jailbreaky -, ktorými sa snaží vyvolať neželané správanie AI modelu.

Microsoft sa navyše zaoberá „nepriamymi injekciami promptov“, pri ktorých hackeri vkladajú škodlivé inštrukcie do dát, ktorými je model trénovaný, čím ho lákajú k neautorizovaným akciám, ako je krádež informácií o používateľoch alebo prevzatie systému.

Takéto útoky predstavujú podľa Sarah Birdovej, hlavnej produktové riaditeľky Microsoftu pre zodpovednú AI, jedinečnú výzvu a hrozbu. Nové obranné opatrenia sú navrhnuté tak, aby rozpoznávali podozrivé zadania a blokovali ich v reálnom čase.

Okrem toho Microsoft zavádza funkciu, ktorá používateľov upozorní, keď model vytvorí výmysly alebo generuje chybné odpovede. Microsoft sa snaží posilniť dôveru vo svoje generatívne nástroje AI, ktoré využívajú ako spotrebitelia, tak firemní zákazníci.

V februári spoločnosť vyšetrovala incidenty so svojím chatbotom Copilot, ktorý generoval odpovede od zvláštnych až po škodlivé. Po preskúmaní incidentov spoločnosť Microsoft vyhlásila, že používatelia si úmyselne vyskúšali naviesť Copilota k týmto odpovediam.

Microsoft je najväčším investorom spoločnosti OpenAI a partnerstvo premenil na kľúčový prvok svojej stratégie AI. Bird zdôraznila, že Microsoft a OpenAI sa zaviazali k bezpečnému používaniu AI a vkladajú ochranné opatrenia do veľkých jazykových modelov, ktoré sú základom generatívnej AI. „Nie je však možné spoľahnúť sa iba na model,“ povedala. „Tieto Jailbreaky napríklad predstavujú inhérentnú slabosť technológie modelov.“