Microsoft Corp. vidtar åtgärder för att förhindra att artificiell intelligens-chatbots lockas till ett ovanligt eller skadligt beteende genom knep. I ett blogginlägg från torsdagen tillkännagav företaget baserat i Redmond, Washington, nya säkerhetsfunktioner för Azure AI Studio. Detta verktyg möjliggör för utvecklare att skapa anpassade AI-assistenter med egna data.

Till de nya verktygen hör "Prompt-sköldar", som är utformade för att upptäcka och blockera avsiktliga försök – så kallade prompt-injektionsattacker eller jailbreaks – som syftar till att förmå en AI-modell till oönskat beteende.

Microsoft tar sig an "indirekta promptinjektioner", där hackare infogar skadliga instruktioner i datan som används för att träna en modell, och på så sätt lockar det till obehöriga handlingar såsom att stjäla användarinformation eller att ta över ett system.

Sådana attacker utgör en unik utmaning och hot, enligt Sarah Bird, Microsofts Chief Product Officer för ansvarsfull AI. De nya försvarsmekanismerna är designade för att upptäcka misstänkta inmatningar och blockera dem i realtid.

Dessutom introducerar Microsoft en funktion som varnar användare när en modell hittar på uppfinningar eller genererar felaktiga svar. Microsoft strävar efter att öka förtroendet för sina generativa AI-verktyg som används av både konsumenter och företagskunder.

I februari undersökte företaget incidenter med sin CoPilot-chattbot, som genererade allt från konstiga till skadliga svar. Efter granskningen av incidenterna förklarade Microsoft att användare avsiktligt hade försökt förmå CoPilot att ge dessa svar.

Microsoft är den största investeraren i OpenAI och har gjort partnerskapet till en nyckelkomponent i sin AI-strategi. Bird framhävde att Microsoft och OpenAI engagerar sig för säker användning av AI och integrerar skyddsåtgärder i de stora språkmodeller som ligger till grund för generativ AI. "Man kan dock inte enbart lita på modellen", sa hon. "Dessa jailbreaks är till exempel en inneboende svaghet i modellteknologin."