Corporația Microsoft întreprinde măsuri pentru a preveni ca roboții de chat cu inteligență artificială să fie induceți în eroare să aibă comportamente neobișnuite sau nocive. Într-o postare pe blog de joi, compania cu sediul în Redmond, Washington, a anunțat noi funcționalități de securitate pentru Azure AI Studio. Acest instrument le permite dezvoltatorilor să creeze asistenți AI personalizați cu propriile lor date.

Printre noile instrumente se numără „scuturi pentru prompt-uri”, concepute pentru a detecta și a bloca încercările intenționate – așa-numitele atacuri prin injecție de prompt sau jailbreak-uri – care au ca scop inducerea unui model AI într-un comportament neintenționat.

Microsoft abordează, de asemenea, „injecțiile indirecte de prompturi”, prin care hackerii inserează instrucțiuni dăunătoare în datele cu care un model este antrenat, determinându-l să execute acțiuni neautorizate, cum ar fi furtul de informații ale utilizatorilor sau preluarea controlului asupra unui sistem.

Asemenea atacuri reprezintă, conform lui Sarah Bird, Directorul Executiv de Produs pentru AI responsabil la Microsoft, o provocare și amenințare unică. Noile măsuri de apărare sunt concepute pentru a detecta intrările suspecte și a le bloca în timp real.

De asemenea, Microsoft introduce o funcție care îi avertizează pe utilizatori când un model face invenții sau generează răspunsuri eronate. Microsoft își propune să consolideze încrederea în instrumentele sale de IA generativă, folosite atât de consumatori, cât și de clienții corporativi.

În luna februarie, compania a investigat incidente legate de chatbotul său Copilot, care a generat răspunsuri de la ciudate până la dăunătoare. După revizuirea incidentelor, Microsoft a declarat că utilizatorii au încercat intenționat să îl provoace pe Copilot la aceste răspunsuri.

Microsoft este cel mai mare investitor în OpenAI și a transformat parteneriatul într-un element cheie al strategiei sale de IA. Bird a subliniat faptul că Microsoft și OpenAI se dedică utilizării sigure a IA și integrează măsuri de protecție în marile modele de limbaj care stau la baza IA generative. „Totuși, nu te poți baza exclusiv pe model”, a spus ea. „Aceste Jailbreaks, de exemplu, sunt o slăbiciune inerentă a tehnologiei modelelor.”