Microsoft Corp., yapay zeka sohbet robotlarının hilelerle alışılmadık veya zararlı davranışlara sürüklenmesini önlemek için önlemler alıyor. Redmond, Washington merkezli şirket, Perşembe günü yayımladığı blog gönderisinde Azure AI Studio için yeni güvenlik özelliklerini duyurdu. Bu araç, geliştiricilere kendi verileriyle özelleştirilmiş AI yardımcıları oluşturma imkanı sağlıyor.

Yeni araçlar arasında, bir yapay zeka modelini kasıtlı olmayan davranışlara sürüklemeye çalışan, bilinçli girişimleri - sözde Prompt Enjeksiyon saldırıları veya Jailbreak'leri - tanımak ve engellemek için tasarlanmış "Prompt Kalkanları" bulunmaktadır.

Microsoft, "dolaylı prompt enjeksiyonlarına" da el atıyor; burada hackerlar, bir modelin eğitildiği verilere zararlı komutlar ekleyerek onu kullanıcı bilgilerini çalma veya bir sistemi ele geçirme gibi yetkisiz eylemler yapmaya sürüklüyor.

Microsoft'un Sorumlu AI Baş Ürün Sorumlusu Sarah Bird'e göre bu tür saldırılar benzersiz bir meydan okuma ve tehdit oluşturuyor. Yeni savunma önlemleri, şüpheli girişleri tespit etmek ve gerçek zamanlı olarak engellemek için tasarlanmıştır.

Microsoft, bir modelin uydurmalar yaptığını veya hatalı yanıtlar ürettiğinde kullanıcıları uyaran bir özellik sunuyor. Microsoft, tüketicilerin ve kurumsal müşterilerin kullandığı generatif AI araçlarına duyulan güveni güçlendirmeyi hedefliyor.

Şubat ayında şirket, tuhaftan zararlıya her türlü yanıtı üreten Copilot sohbet robotu ile ilgili olayları inceledi. Olayların incelemesinin ardından Microsoft, kullanıcıların bilerek Copilot'u bu tür yanıtlar vermeye yönlendirmeye çalıştığını açıkladı.

Microsoft, OpenAI'nin En Büyük Yatırımcısıdır ve Ortaklığı KI Stratejisinin Temel Bir Elemanı Haline Getirmiştir. Bird, Microsoft ve OpenAI'nin güvenli KI kullanımına adanmış olduğunu ve koruyucu önlemleri, jeneratif KI'yı temel alan büyük dil modellerine entegre ettiklerini vurguladı. "Ancak modele tek başına güvenemezsiniz," dedi. "Örneğin bu Jailbreakler, model teknolojisinin doğasında var olan bir zayıflıktır."