San Francisco Frontiers - L’injection de requêtes, nouvelle arme des pirates pour contrôler votre IA

Meta qualifie cette nouvelle menace, baptisée injection de requête, de "vulnérabilité", quand le responsable de la sécurité informatique d'OpenAI, Dane Stuckey, y voit "un problème de sécurité non résolu".

Le concept existe depuis trois ans, soit avant même le lancement de ChatGPT, mais son champ était initialement limité car les assistants IA ne pouvaient que produire du contenu -code informatique, texte ou image- qui devait ensuite être revu et intégré par un utilisateur humain.

Mais l'arrivée des agents IA, capables de réaliser des tâches de façon autonome, a offert aux pirates un bras armé à l'intérieur du système informatique d'un individu ou d'une entreprise, sorte de Cheval de Troie ultime.

L'intégration de ces agents dans la nouvelle génération des navigateurs internet expose leurs utilisateurs à un océan de données en ligne de qualité et d'origine incertaines.

Un pirate peut cacher des instructions dans une page internet, un courriel, une image ou un document, notamment en les rendant invisibles à l'oeil humain, voire même dans un faux lien vers un site, comme l'a relevé récemment le spécialiste NeuralTrust.

L'agent lit ce contenu et exécute alors l'ordre qui lui est donné, à l'insu de l'internaute.

L'agent IA ayant un accès étendu aux données de l'utilisateur, il peut en extraire une partie pour le pirate, les modifier ou les effacer, mais aussi orienter à son gré le fonctionnement d'un site ou du modèle d'IA lui-même.

"Pour la première fois depuis des décennies, nous voyons de nouveaux vecteurs d'attaques qui peuvent venir de n'importe où", a observé le nouveau venu de la recherche en ligne, Perplexity. D'autant, souligne-t-il, que l'IA générative et l'utilisation du langage courant ne circonscrivent plus le spectre "aux acteurs malveillants dotés de compétences techniques élevées".

- "Délicat équilibre" -

Pour Eli Smadja, manager au sein du spécialiste israélien de cybesécurité Check Point, l'injection de requête "est le problème de sécurité numéro un pour les grands modèles de langage (LLM)", programmes informatiques qui donnent vie aux assistants et agents IA.

Tous les grands acteurs de l'IA générative grand public ont pris des mesures et publié chacun des recommandations pour se protéger contre ces assauts ou les déjouer.

Microsoft a intégré un détecteur d'ordres malveillants, qui se détermine notamment en fonction de l'endroit ou se trouve l'instruction. Quant à OpenAI, il alerte l'utilisateur lorsque l'agent IA se rend sur un site sensible et ne laisse l'opération se poursuivre que si l'internaute l'observe directement en temps réel.

D'autres suggèrent de demander une validation explicite à l'usager avant d'effectuer une tâche importante.

"Mais le gros défi, c'est que les attaques se perfectionnent", constate Johann Rehberger, chercheur en cybersécurité connu sous le pseudonyme wunderwuzzi. "Il y a certaines menaces que l'on n'a même pas encore identifiées."

Eli Smadja met en garde contre la "grosse erreur qui consiste à donner au même agent le contrôle sur tout. Il peut fouiller dans vos courriels, aller sur internet ou agir dans votre système."

Reste à trouver "le délicat équilibre", selon Johann Rehberger, entre sécurité et facilité d'utilisation, "car les gens veulent aussi simplement que l'IA fasse des choses à leur place", sans avoir à la surveiller en permanence.

Pour Marti Jorda Roca, ingénieur chez l'espagnole NeuralTrust, la prise en compte de ces risques doit se faire à tous les niveaux.

"Les gens doivent comprendre que l'utilisation de l'IA présente des dangers spécifiques de sécurité", avance-t-il. Quant aux entreprises, "elles doivent installer des garde-fous (...) pour encadrer ces risques."

Pour l'ingénieur, cela pourrait retarder l'adoption des agents IA, notamment dans les entreprises sensibles comme les banques.

Selon Johann Rehberger, l'intelligence artificielle n'est, de toute façon, pas encore assez mûre.

"On n'en est pas encore à pouvoir laisser un agent IA partir en mission pendant une longue période", dit-il. "Il finit par dérailler."

Z.Sanchez--SFF