A Microsoft Corp. lépéseket tesz, hogy megakadályozza a mesterséges intelligencia-chatbotokat abban, hogy trükkökkel szokatlan vagy káros magatartásra bírják őket. Egy csütörtöki blogbejegyzésben a Washington állambeli Redmond városában található vállalat új biztonsági funkciókat jelentett be az Azure AI Studio számára. Ez az eszköz lehetővé teszi a fejlesztők számára, hogy saját adatokkal személyre szabott AI-asszisztenseket hozzanak létre.

Az új eszközök közé tartoznak a „Prompt-pajzsok”, amelyek arra lettek tervezve, hogy felismerjék és blokkolják a szándékos kísérleteket – úgynevezett Prompt-injekciós támadásokat vagy Jailbreak-eket –, amelyekkel megpróbálják egy mesterséges intelligencia modellt nem kívánt viselkedésre bírni.

Microsoft foglalkozik az "indirekt prompt-injekciókkal" is, amelyek során a hackerek kártékony utasításokat illesztenek be azokba az adatokba, amelyekkel egy modellt tanítanak, ezzel nem engedélyezett cselekményekre, mint például felhasználói információk ellopása vagy egy rendszer átvétele, ösztönözve azt.

Az ilyen támadások egyedi kihívást és fenyegetést jelentenek Sarah Bird, a Microsoft felelős AI termékekért felelős vezető termékigazgatója szerint. Az új védelmi intézkedések arra lettek tervezve, hogy felismerjék a gyanús bevitelt és valós időben blokkolják azt.

A Microsoft egy új funkciót vezet be, amely figyelmezteti a felhasználókat, ha a modell találmányokat készít vagy hibás válaszokat generál. A Microsoft törekszik generatív MI-eszközei iránti bizalom megerősítésére, melyeket mind a fogyasztók, mind az üzleti ügyfelek használnak.

Februárban a vállalat vizsgálta az eseteket, amikor a Copilot-üzemmódú chatrobot furcsától a káros válaszokig mindenfélét előállított. Az esetek áttekintése után a Microsoft kijelentette, hogy a felhasználók szándékosan próbálták rávenni a Copilotot ezekre a válaszokra.

Microsoft az OpenAI legnagyobb befektetője, és a partnerséget a mesterséges intelligencia stratégiájának kulcselemévé tette. Bird hangsúlyozta, hogy a Microsoft és az OpenAI elkötelezettek a mesterséges intelligencia biztonságos használata mellett, és védelmi intézkedéseket építenek be azokba a nagy nyelvi modellekbe, amelyek az előállító MI-t alapul veszik. „Azonban nem lehet kizárólag a modellre hagyatkozni” - mondta. „Ezek a jailbreak-ek például egy velejáró gyengesége a modell technológiának.”