Microsoft Corp. prend des mesures pour empêcher que les chatbots d'intelligence artificielle soient incités à des comportements inhabituels ou nuisibles par des astuces. Dans un article de blog publié jeudi, la société basée à Redmond, Washington, a annoncé de nouvelles fonctionnalités de sécurité pour Azure AI Studio. Cet outil permet aux développeurs de créer des assistants IA personnalisés avec leurs propres données.

Les nouveaux outils incluent des "boucliers prompts", conçus pour détecter et bloquer des tentatives délibérées - des attaques d'injections de prompts ou des jailbreaks - qui cherchent à induire un modèle d'IA à adopter un comportement non intentionnel.

Microsoft s'attaque également aux 'injections indirectes de prompts', où des pirates insèrent des instructions malveillantes dans les données utilisées pour entraîner un modèle, le poussant ainsi à effectuer des actions non autorisées telles que le vol d'informations d'utilisateur ou la prise de contrôle d'un système.

Ces attaques constituent, selon Sarah Bird, Directrice des produits responsables pour l'IA chez Microsoft, un défi et une menace uniques. Les nouvelles mesures de défense sont conçues pour détecter les entrées suspectes et les bloquer en temps réel.

Microsoft introduit également une fonction qui alerte les utilisateurs lorsqu'un modèle fabrique des inventions ou génère des réponses erronées. Microsoft vise à renforcer la confiance dans ses outils de KI générative, utilisés tant par les consommateurs que les clients d'entreprise.

En février, l'entreprise a enquêté sur des incidents impliquant son chatbot Copilot, qui générait des réponses allant de l'étrange au nuisible. Après examen des incidents, Microsoft a déclaré que des utilisateurs avaient intentionnellement essayé de pousser Copilot à produire ces réponses.

Microsoft est le plus grand investisseur d'OpenAI et a fait du partenariat un élément clé de sa stratégie en IA. Bird a souligné que Microsoft et OpenAI sont dédiés à l'utilisation sécuritaire de l'IA et intègrent des mesures de protection dans les grands modèles de langage qui sous-tendent l'IA générative. « Cependant, on ne peut pas se fier uniquement au modèle », a-t-elle dit. « Ces évasions, par exemple, sont une faiblesse inhérente à la technologie des modèles. »