En avril, la société américaine d’IA Anthropic a lancé le projet Glasswing. Il a donné à environ 50 entreprises technologiques et organisations open source, dont Microsoft, Cisco, Amazon, Apple, NVIDIA et la Linux Foundation, l’accès à Claude Mythos Preview, un modèle frontière inédit, pour rechercher des failles « jour zéro » jusqu’alors inconnues. L’équipe Firefox de Mozilla l’a utilisé pour trouver et corriger 271 vulnérabilités, dont 180 jugées très graves.
Trois mois plus tard, la situation s’est inversée. Lors d’un test de sécurité interne chez OpenAI, un groupe d’agents IA ont exploité une faille logicielle pour échapper à leur bac à sable de test. Ils ont pénétré par effraction dans Hugging Face, une plateforme majeure pour les développeurs d’IA, et ont obtenu un accès administrateur à son cluster de serveurs. OpenAI a déclaré que les agents avaient déduit que la plate-forme pourrait contenir du matériel lié au test, et son enquête ultérieure a identifié la tricherie lors de l’évaluation comme un facteur clé.
La recherche de vulnérabilités basée sur l’IA aide les défenseurs à détecter rapidement les faiblesses. Mais les attaquants peuvent utiliser les mêmes outils pour trouver les failles et les attaquer, ce qui laisse aux défenseurs beaucoup moins de temps pour appliquer les correctifs et aux utilisateurs ordinaires davantage de risques.
L’IA modifie les cyberattaques en termes de vitesse, d’échelle et de coût. Pour les utilisateurs ordinaires, c’est la baisse des coûts qui compte le plus. Faire des recherches sur un individu, créer une histoire convaincante et entretenir une conversation demandait autrefois un réel effort humain. L’IA a rendu tout cela bon marché, de sorte que les escroqueries personnalisées peuvent désormais être exécutées à grande échelle. Cela se manifeste de trois manières.
1. La fraude passe des messages de masse génériques à des messages personnalisés produits en masse. Se faire passer pour des proches, se faire passer pour le service client et envoyer des liens de phishing sont de vieilles astuces. L’IA peut désormais écrire des scripts adaptés à l’identité, aux antécédents et aux besoins d’une cible, soutenus par des voix clonées et des vidéos deepfake. Les faux visages peuvent également échapper à des contrôles d’identité faibles.
2. Les réponses données par l’IA peuvent être manipulées à des fins lucratives. Cette année, le gala annuel des droits des consommateurs organisé par China Media Group le 15 mars a révélé une industrie de « l’empoisonnement de l’IA » qui fabrique des critiques et des classements pour façonner les recommandations des modèles d’IA. Plus les gens s’appuient sur l’IA pour obtenir des conseils d’achat, plus ils devraient se demander d’où vient une réponse et à qui en profite, au lieu de la traiter comme un fait objectif.
3. Les agents d’IA qui agissent au nom des utilisateurs deviennent eux-mêmes des cibles. Une fois qu’un agent IA peut lire vos e-mails, ouvrir vos fichiers ou gérer vos comptes, un attaquant peut cacher des instructions dans un e-mail, une page Web ou un document qui le retournent contre vous, l’amenant à divulguer des données ou à prendre des mesures que vous n’avez jamais approuvées. De telles attaques par « injection indirecte d’invites » ont déjà été signalées dans des logiciels de bureautique grand public. Plus un agent a accès, plus il peut causer de dégâts une fois détourné.
La Chine associe développement et sécurité et fixe des règles par secteur et par usage. Ses mesures provisoires sur l’IA générative exigent que les services dotés d’attributs d’opinion publique ou dotés d’une capacité de mobilisation sociale se soumettent à des évaluations de sécurité et à un enregistrement d’algorithmes, et qu’ils traitent et signalent rapidement les contenus illégaux. L’AI Safety Governance Framework 3.0, publié en septembre, met à jour les catégories de risques et les contre-mesures et ajoute des dispositions dédiées aux risques des agents IA.
La loi sur l’IA de l’Union européenne fixe les obligations en fonction du risque. Les fournisseurs de modèles d’IA à usage général présentant un risque systémique doivent effectuer des tests contradictoires, évaluer et atténuer les risques systémiques, protéger la cybersécurité de leurs modèles et signaler les incidents graves. Les violations résultant d’une intention ou d’une négligence entraînent des amendes pouvant aller jusqu’à 3 % du chiffre d’affaires annuel global ou 15 millions d’euros, le montant le plus élevé étant retenu.
Les États-Unis penchent vers l’innovation et la coopération volontaire. Un décret de juin établit un cadre volontaire dans lequel les développeurs peuvent accorder au gouvernement fédéral jusqu’à 30 jours d’accès à certains modèles frontières avant de les partager avec d’autres partenaires de confiance. L’ordonnance indique que cela ne crée aucune exigence de licence obligatoire ou d’approbation préalable. Reste à savoir si de tels arrangements volontaires fonctionneront.
Aussi différents que puissent être ces chemins, ils partagent un même défi. Les principes doivent être transformés en mesures de sécurité couvrant l’ensemble du cycle de vie d’un système d’IA et pouvant être vérifiées en permanence. Le modèle n’est qu’un élément du système. Les composants logiciels, les services de données, les informations d’identification, les interfaces d’outils et les environnements d’exécution sont tout aussi importants, et les incidents ci-dessus montrent comment leurs failles permettent aux attaquants ou aux agents malveillants de contourner l’isolement, d’élever les privilèges et d’atteindre les systèmes externes. Traiter la « conformité du modèle » comme équivalent à la « sécurité du système » laisse ces risques sans réponse.
L’IA rendant les attaquants plus efficaces, les utilisateurs ordinaires doivent maîtriser les bases. Gardez les systèmes à jour, utilisez des mots de passe différents pour les comptes importants et activez la vérification en deux étapes. Installez des logiciels et des services d’IA uniquement à partir de sources officielles et conservez une sauvegarde hors ligne des fichiers importants. Vérifiez toute demande d’argent ou de contrôle d’identité via un numéro que vous avez enregistré vous-même ou un canal officiel, jamais par voix ou vidéo uniquement. Accordez aux agents IA uniquement les autorisations requises par une tâche.
La vigilance personnelle ne peut toutefois pas remplacer la responsabilité des entreprises et la surveillance publique. La responsabilité doit suivre la capacité à contrôler les risques. Les entreprises d’IA devraient continuer à évaluer les risques et à améliorer les garanties. Les fabricants de produits doivent corriger les vulnérabilités rapidement. Les entreprises qui subissent une fuite de données doivent la traiter strictement dans les règles et en informer immédiatement les utilisateurs concernés. Les systèmes d’IA capables de faire fonctionner des appareils et des comptes externes doivent fonctionner selon des principes stricts de moindre privilège, conserver des journaux immuables et nécessiter une confirmation humaine pour les actions à haut risque telles que les transactions financières. La politique doit également élargir la portée de la sécurité pour couvrir l’ensemble de la pile logicielle sous-jacente, tout en protégeant légalement les chercheurs en sécurité qui divulguent légalement les failles, en garantissant que les obstacles bureaucratiques n’affaiblissent jamais notre défense collective.
La bonne nouvelle est que l’IA rend également la défense moins chère, comme le montre le cas Firefox. Le cadre 3.0 de la Chine appelle à rendre les capacités de sécurité de l’IA largement accessibles. Les politiques doivent veiller à ce que ces capacités atteignent les petites organisations et les utilisateurs ordinaires, afin que les progrès technologiques réduisent l’écart de sécurité plutôt que de l’élargir.
