Microsoft Corp. adotta misure per prevenire che i chatbot di intelligenza artificiale siano indotti a comportamenti insoliti o dannosi tramite inganni. In un post sul blog di giovedì, l'azienda con sede a Redmond, Washington, ha annunciato nuove funzionalità di sicurezza per Azure AI Studio. Questo strumento consente agli sviluppatori di creare assistenti AI personalizzati con i propri dati.

Tra i nuovi strumenti figurano "Scudi Prompt", progettati per rilevare e bloccare i tentativi intenzionali – i cosiddetti attacchi di iniezione di prompt o jailbreak – volti a indurre un modello AI in comportamenti non intenzionali.

Microsoft affronta anche le "iniezioni indirette di prompt" in cui gli hacker inseriscono istruzioni dannose nei dati con cui un modello viene addestrato, inducendolo ad azioni non autorizzate come il furto di informazioni degli utenti o l'assunzione del controllo di un sistema.

Tali attacchi rappresentano una sfida e una minaccia uniche secondo Sarah Bird, Chief Product Officer di Microsoft per l'IA responsabile. Le nuove misure difensive sono progettate per riconoscere input sospetti e bloccarli in tempo reale.

Inoltre, Microsoft introduce una funzione che avvisa gli utenti quando un modello crea invenzioni o genera risposte errate. Microsoft si impegna a rafforzare la fiducia nei suoi strumenti di intelligenza artificiale generativa, utilizzati tanto dai consumatori quanto dai clienti aziendali.

A febbraio, l'azienda ha investigato degli incidenti con il suo chatbot Copilot, che generava risposte che andavano dallo strano al dannoso. Dopo la revisione degli incidenti, Microsoft ha spiegato che gli utenti avevano intenzionalmente tentato di indurre Copilot a dare tali risposte.

Microsoft è il più grande investitore di OpenAI e ha trasformato la partnership in un elemento chiave della sua strategia sull'IA. Bird ha sottolineato che Microsoft e OpenAI si dedicano all'uso sicuro dell'IA e integrano misure di protezione nei grandi modelli linguistici che stanno alla base dell'IA generativa. "Tuttavia, non ci si può affidare solo al modello", ha detto. "Queste fughe dal controllo, ad esempio, sono una debolezza intrinseca della tecnologia dei modelli."