AI

Microsoftov konec trikov z nagajivimi klepetalniki

Kopilot podjetja je nedavno dostavil nenavadne, škodljive odgovore. Obrambni mehanizmi naj bi prepoznali in blokirali sumljive aktivnosti.

Eulerpool News 31. mar. 2024, 15:01

Microsoft Corp. uvaja ukrepe za preprečevanje, da bi umetna inteligenca chatbotov s triki bila sprožena k nenavadnemu ali škodljivemu vedenju. V blog objavi v četrtek je podjetje s sedežem v Redmondu, Washington, napovedalo nove varnostne funkcije za Azure AI Studio. To orodje omogoča razvijalcem ustvarjanje prilagojenih AI pomočnikov z lastnimi podatki.

Med nova orodja spadajo "Prompt-ščiti", ki so zasnovani za zaznavanje in blokiranje namernih poskusov – t.i. napadov z injiciranjem vprašalnikov ali Jailbreakov – s katerimi se poskuša AI-model zvabiti v neželeno vedenje.

Microsoft se loteva tudi "posrednih injiciranja pozivov", pri katerih hekerji vnašajo škodljive ukaze v podatke, s katerimi je model treniran, in ga tako spodbujajo k neavtoriziranim dejanjem, kot sta kraja uporabniških informacij ali prevzem sistema.

Takšni napadi predstavljajo po mnenju Sarah Bird, glavne direktorice za odgovorno umetno inteligenco pri Microsoftu, edinstven izziv in grožnjo. Novi obrambni ukrepi so zasnovani za prepoznavanje sumljivih vnosov in za blokiranje v realnem času.

Microsoft uvaja funkcijo, ki uporabnike opozarja, ko model izmišljuje ali generira napačne odgovore. Microsoft si prizadeva krepiti zaupanje v svoja generativna orodja za umetno inteligenco, katera uporabljajo tako potrošniki kot podjetniški kupci.

Podjetje je februarja preiskovalo incidente s svojim klepetalnim robotom Copilot, ki je ustvarjal od čudnih do škodljivih odgovorov. Po pregledu incidentov je Microsoft pojasnil, da so uporabniki namerno poskušali Copilota spodbuditi k takšnim odgovorom.

Microsoft je največji investitor v OpenAI in je partnerstvo spremenil v ključni element svoje strategije umetne inteligence. Bird je poudaril, da se Microsoft in OpenAI zavzemata za varno uporabo umetne inteligence in integracijo zaščitnih ukrepov v velike jezikovne modele, ki so osnova generativne umetne inteligence. "Vendar se ne moremo zanašati samo na model," je dejala. "Ti 'jailbreaki', na primer, so inherentna šibkost tehnologije modelov."

Naredi najboljše naložbe svojega življenja
fair value · 20 million securities worldwide · 50 year history · 10 year estimates · leading business news

Zagotovite si že od 2 evrov

Novice