Microsoft Corp. podniká kroky k zabránění tomu, aby umělé inteligence ve formě chatbotů byly lstí vedeny k neobvyklému nebo škodlivému chování. Ve čtvrtečním blogovém příspěvku společnost se sídlem v Redmond ve státě Washington oznámila nové bezpečnostní funkce pro Azure AI Studio. Tento nástroj umožňuje vývojářům vytvářet na míru šité AI asistenty s využitím vlastních dat.

Součástí nových nástrojů jsou „ochrany proti promptům“, které jsou navrženy tak, aby rozpoznávaly a blokovaly úmyslné pokusy – takzvané útoky injekcí promptů nebo jailbreaky – kterými se snaží vyprovokovat AI model k nezamýšlenému chování.

Microsoft se věnuje také „nepřímým injekcím výzev“, kde hackeři vkládají škodlivé instrukce do dat, která se používají k tréninku modelu, čímž ho lákají k neautorizovaným akcím, jako je krádež informací o uživatelích nebo převzetí systému.

Takové útoky představují podle Sary Birdové, představené Microsoftu pro odpovědnou AI, jedinečnou výzvu a hrozbu. Nová obranná opatření jsou navržena tak, aby rozpoznávala podezřelé vstupy a blokovala je v reálném čase.

Microsoft zavádí funkci, která upozorňuje uživatele, když model vytváří vynálezy nebo poskytuje chybné odpovědi. Microsoft se snaží zvýšit důvěru ve své generativní AI nástroje, které jsou využívány jak spotřebiteli, tak firemními zákazníky.

V únoru společnost prošetřovala incidenty se svým chatbotem Copilot, který generoval vše od podivných po škodlivé odpovědi. Po přezkoumání incidentů Microsoft vysvětlil, že uživatelé se úmyslně snažili Copilota přimět k těmto odpovědím.

Microsoft je největším investorem OpenAI a partnerství přetvořil na klíčový prvek své strategie AI. Bird zdůraznila, že Microsoft a OpenAI se věnují bezpečnému využití AI a do velkých jazykových modelů, které stojí za generativní AI, integrují ochranná opatření. „Nemůžeme se ovšem spoléhat jen na model,“ řekla. „Tyto jailbreaky jsou například vrozenou slabostí technologie modelů.“