חברת מייקרוסופט נוקטת באמצעים כדי למנוע מבוטים של בינה מלאכותית בצ'אט להפוך להתנהגות יוצאת דופן או פוגענית עקב טריקים. בפוסט בבלוג שפורסם ביום חמישי, הודיעה החברה הממוקמת ברדמונד, וושינגטון על תכונות בטיחות חדשות עבור Azure AI Studio. כלי זה מאפשר למפתחים ליצור עוזרים אישיים מותאמים אישית באמצעות נתוניהם.

בין הכלים החדשים נכללים "מגני פרומפט", שתוכננו לזהות ולחסום ניסיונות מכוונים – הידועים כהתקפות הזרקת פרומפט או פריצות – שמטרתם להוביל מודל AI להתנהגות לא צפויה.

מיקרוסופט גם נוקטת צעדים נגד "הזרקת פרומפטים עקיפה", שבהם האקרים מזינים הוראות זדוניות לתוך הנתונים המשמשים לאימון מודל, מה שגורם לפעולות לא מורשות כמו גניבת מידע על משתמשים או כיבוש מערכות.

התקפות כאלה מהוות אתגר ואיום ייחודי, לדברי סרה בירד, קצינת המוצר הראשית במיקרוסופט לקי אי מוסרי. התגוננויות החדשות מתוכננות לזהות קלטים חשודים ולחסום אותם בזמן אמת.

חברת מייקרוסופט משיקה פונקציה שמתריעה למשתמשים כאשר מודל מוציא המצאות לפועל או מייצר תשובות שגויות. מייקרוסופט שואפת לחזק את האמון בכלים הגנרטיביים שלה לבינה מלאכותית, אשר נמצאים בשימוש על ידי צרכנים ולקוחות עסקיים כאחד.

בפברואר, החברה חקרה אירועים עם הצ'אטבוט הקופילוט שלה, שיצר תגובות ממוזרות ועד למזיקות. לאחר סקירת האירועים, מיקרוסופט הסבירה שמשתמשים ניסו בכוונה לגרום לקופילוט לתת את התשובות האלו.

מייקרוסופט היא המשקיעה הגדולה ביותר של OpenAI והפכה את השותפות לאלמנט מפתח באסטרטגיית המלאכותית שלה. בירד הדגישה כי מייקרוסופט ו-OpenAI מחויבות לשימוש בטוח במלאכותית ולהטמעת הגנות במודלים השפתיים הגדולים המהווים את הבסיס למלאכותית יוצרת. "אולם, לא ניתן להסתמך על המודל לבדו," אמרה היא. "לדוגמא, פריצות אלו הן חולשה טבעית של טכנולוגיית המודל."