Microsoft Corp. toma medidas para evitar que los chatbots de inteligencia artificial sean inducidos a comportamientos inusuales o dañinos por trucos. En una entrada de blog del jueves, la compañía con sede en Redmond, Washington, anunció nuevas funciones de seguridad para Azure AI Studio. Esta herramienta permite a los desarrolladores crear asistentes de IA personalizados con sus propios datos.

Entre las nuevas herramientas se incluyen "Escudos de Prompt", diseñados para detectar y bloquear intentos deliberados –conocidos como ataques de inyección de prompt o jailbreaks– que buscan inducir a un modelo de IA a comportarse de manera no intencionada.

Microsoft también aborda las "inyecciones indirectas de comandos", donde los hackers insertan instrucciones maliciosas en los datos con los que se entrena un modelo, llevándolo a realizar acciones no autorizadas como el robo de información de usuarios o la toma de control de un sistema.

Esta frase tiene algunos elementos que deben ajustarse para una traducción correcta al español. Aquí hay una versión traducida apropiada para el título:

"Según Sarah Bird, Directora de Producto de Microsoft para la IA responsable, tales ataques representan un desafío y amenaza únicos. Las nuevas medidas de defensa están diseñadas para detectar entradas sospechosas y bloquearlas en tiempo real."

Además, Microsoft implementa una función que alerta a los usuarios cuando un modelo genera invenciones o respuestas erróneas. Microsoft se esfuerza por reforzar la confianza en sus herramientas de IA generativa, utilizadas tanto por consumidores como por clientes empresariales.

En febrero, la empresa investigó incidentes con su chatbot Copilot, que generaba respuestas que iban desde lo extraño hasta lo perjudicial. Tras revisar los incidentes, Microsoft declaró que los usuarios habían intentado deliberadamente provocar a Copilot para obtener esas respuestas.

Microsoft es el mayor inversor de OpenAI y ha convertido la asociación en un elemento clave de su estrategia de IA. Bird enfatizó que Microsoft y OpenAI se dedican al uso seguro de la IA e integran medidas de protección en los grandes modelos de lenguaje que sustentan la IA generativa. "Sin embargo, no se puede confiar únicamente en el modelo", dijo. "Estos 'jailbreaks', por ejemplo, son una debilidad inherente de la tecnología de modelos."