Certains des modèles d’intelligence artificielle (IA) les plus importants ne respectent pas les réglementations européennes dans des domaines clés tels que la résilience en matière de cybersécurité et les résultats discriminatoires, selon les données consultées par Reuters.
L’Union européenne (UE) débattait depuis longtemps de nouvelles réglementations sur l’IA avant qu’OpenAI ne rende ChatGPT public fin 2022. La popularité record et le débat public qui a suivi sur les risques existentiels supposés de tels modèles ont incité les législateurs à élaborer des règles spécifiques autour des « règles générales ». -des IA à usage spécifique.
Aujourd’hui, un nouvel outil, bien accueilli par les responsables de l’UE, a testé des modèles d’IA générative développés par de grandes entreprises technologiques comme Meta et OpenAI dans des dizaines de catégories, conformément à la vaste loi européenne sur l’IA, qui entre en vigueur en 2017. étapes au cours des deux prochaines années.
Conçu par la startup suisse LatticeFlow AI et ses partenaires de deux instituts de recherche, l’ETH Zurich et l’INSAIT en Bulgarie, le cadre attribue aux modèles d’IA une note comprise entre 0 et 1 dans des dizaines de catégories, notamment la robustesse technique et la sécurité.
Un classement publié mercredi par LatticeFlow montre que les modèles développés par Anthropic, OpenAI, Meta et Mistral ont tous reçu des notes moyennes de 0,75 ou plus.
Cependant, le « Large Language Model (LLM) Checker » de l’entreprise a révélé les lacunes de certains modèles dans des domaines clés, mettant en lumière les domaines dans lesquels les entreprises pourraient avoir besoin de réaffecter des ressources pour assurer la conformité.
Par exemple, en testant le « détournement d’invite », un type de cyberattaque dans lequel les pirates informatiques déguisent une invite malveillante en légitime pour extraire des informations sensibles, le LLM Checker a attribué au modèle « Llama 2 13B Chat » de Meta un score de 0,42. Le modèle « 8x7B Instruct » de la startup française Mistral a reçu 0,38 dans la même catégorie.
« Claude 3 Opus », un modèle développé par Anthropic, soutenu par Google, a reçu la note moyenne la plus élevée, 0,89.
LatticeFlow a déclaré que le LLM Checker serait disponible gratuitement pour que les développeurs puissent tester la conformité de leurs modèles en ligne.
Petar Tsankov, PDG et cofondateur de la société, a déclaré à Reuters que les résultats des tests étaient globalement positifs et a proposé aux entreprises une feuille de route leur permettant d’affiner leurs modèles conformément à la loi sur l’IA.
Un porte-parole de la Commission européenne a déclaré : « La Commission accueille favorablement cette étude et cette plateforme d’évaluation des modèles d’IA comme une première étape vers la traduction de la loi européenne sur l’IA en exigences techniques. »
Les entreprises qui ne respecteront pas la loi sur l’IA s’exposeront à des amendes de 35 millions d’euros (38 millions de dollars), soit 7 % de leur chiffre d’affaires annuel mondial.
(Avec la contribution de Reuters)