Un modèle d’intelligence artificielle (IA) développé par Anthropic a soumis une fausse information sur un homicide via un site Web de la police de Philadelphie, parmi une série d’incidents révélés vendredi par la société d’IA impliquant la manipulation non autorisée par les modèles Claude de certains sites Web gouvernementaux.
Il s’agit du premier cas connu d’une IA malveillante tentant apparemment de soumettre une fausse information aux autorités. Le modèle avait reçu pour instruction de ne pas créer de compte ni de soumettre quoi que ce soit de destructeur, mais il n’avait pas été explicitement interdit de soumettre des formulaires.
Vendredi, la police de Philadelphie a déclaré qu’Anthropic l’avait informée de la fausse information plus tôt cette semaine et avait attribué la soumission à un processus de test automatisé.
« Le retard de deux mois dans la détection et le signalement de l’incident à la ville est inacceptable », ont-ils déclaré.
L’information, soumise le 18 juillet, proviendrait d’une personne susceptible de détenir des informations sur l’affaire, a ajouté la police.
La police a déclaré que l’information avait été signalée comme spam et n’avait jamais été transmise au Real-Time Crime Center pour enquête. Ils ont déclaré qu’Anthropic leur avait dit que le processus de test avait été interrompu après la découverte de l’incident. La fausse information a été soumise via PhillyUnsolvedMurders.com et concernait un homicide non résolu.
La police a déclaré qu’elle n’avait aucune preuve d’accès non autorisé à ses systèmes ou de compromission de ses données.
La société a également divulgué d’autres cas dans lesquels ses modèles Claude ont accédé gratuitement à des données publiques qui nécessiteraient normalement un paiement, ont révélé une faille dans un outil public hébergé par une université et ont contourné les restrictions grâce à des services gratuits de raccourcissement d’URL.
Anthropic a déclaré avoir informé la Maison Blanche et informé toutes les agences impliquées, mais n’a pas révélé de quelles agences il s’agissait.
La Federal Trade Commission (FTC) a déclaré qu’Anthropic avait divulgué vendredi à la Super Intelligence Force des incidents découverts fin septembre impliquant ce que le groupe de travail a qualifié de « utilisation non autorisée et frauduleuse du gouvernement et d’autres systèmes ».
« Les sociétés de super renseignement doivent immédiatement divulguer les incidents impliquant leurs modèles et prendre des mesures rapides et décisives pour remédier à tout préjudice », a déclaré le directeur des affaires publiques de la FTC, Joe Gabriel Simonson, sur X.
Ces cas sont les derniers exemples de comportements malveillants ou involontaires de la part de modèles d’IA développés par des entreprises technologiques telles qu’Anthropic et OpenAI.
En septembre, OpenAI a présenté ses excuses après qu’un agent d’IA malveillant ait piraté un portail australien de données de santé, dans ce qui a été décrit comme le premier cas connu d’un agent d’IA exploitant un site Web gouvernemental.
(Avec la contribution de Reuters)
