Meta Platforms a publié mardi la plus grande version de ses modèles d’intelligence artificielle (IA) Llama 3, principalement gratuits, offrant des compétences multilingues et des mesures de performance générales qui talonnent les modèles payants de concurrents comme OpenAI.
Le nouveau modèle Llama 3 peut communiquer en huit langues, écrire du code informatique de meilleure qualité et résoudre des problèmes mathématiques plus complexes que les versions précédentes, a déclaré la société mère de Facebook dans des articles de blog et un document de recherche annonçant la sortie.
Avec 405 milliards de paramètres, ou variables que l’algorithme prend en compte pour générer des réponses aux requêtes des utilisateurs, il éclipse la version précédente publiée l’année dernière, bien qu’il soit toujours plus petit que les principaux modèles proposés par les concurrents.
En revanche, le modèle GPT-4 d’OpenAI aurait mille milliards de paramètres et Amazon prépare un modèle avec deux mille milliards de paramètres.
Mark Zuckerberg, PDG de Meta, a annoncé le développement de Llama 4, le successeur de leur modèle d’IA actuel qui alimente leur chatbot utilisé par « des centaines de millions de personnes ». Cette technologie, ainsi que la précédente Llama 3.1, sera mise à disposition gratuitement dans le cadre d’une « politique d’utilisation acceptable », ce qui permettra potentiellement à d’autres entreprises de l’exploiter pour leur propre développement d’IA.
Faisant la promotion de Llama 3 sur plusieurs canaux, le PDG a déclaré qu’il s’attendait à ce que les futurs modèles Llama dépassent leurs concurrents propriétaires d’ici l’année prochaine. Le chatbot Meta AI alimenté par ces modèles était en passe de devenir l’assistant IA le plus populaire d’ici la fin de 2024, avec des centaines de millions de personnes l’utilisant déjà, a-t-il déclaré.
Dans une interview accordée à Bloomberg, Zuckerberg a exprimé son inquiétude quant au fait que le fait de fermer les autres régions du monde à cette technologie pourrait être préjudiciable. « Il y a une série de réflexions qui se résument à : « Ok, nous devons tout verrouiller » », a-t-il déclaré.
« Je pense que c’est une erreur, car les États-Unis prospèrent grâce à une innovation ouverte et décentralisée. C’est comme ça que fonctionne notre économie, c’est comme ça que nous construisons des choses géniales. Je pense donc que tout verrouiller nous entraverait et nous rendrait plus susceptibles de ne pas être les leaders », a déclaré Zuckerberg.
Il est également irréaliste de penser que les États-Unis auront un jour des années d’avance sur la Chine en matière de progrès en matière d’IA, a-t-il ajouté, mais il a souligné que même une petite avance de plusieurs mois peut « s’accumuler » au fil du temps pour donner aux États-Unis un net avantage, a rapporté Bloomberg.
« Je pense qu’il faut se demander ce que l’on peut espérer accomplir dans la guerre de l’IA. Si vous essayez de dire : « OK, les États-Unis devraient-ils essayer d’avoir 5 ou 10 ans d’avance sur la Chine ? », je ne sais pas si c’est un objectif raisonnable. Je ne suis donc pas sûr que vous puissiez maintenir cet objectif », a déclaré le PDG.
« Mais ce qui me semble être un objectif raisonnable, c’est de conserver une avance perpétuelle de six à huit mois en s’assurant que les entreprises américaines et les Américains qui travaillent sur ce sujet continuent de produire le meilleur système d’IA. Et je pense que si les États-Unis peuvent maintenir cet avantage au fil du temps, ce sera un très gros avantage », a-t-il ajouté.
Meta ne se concentre pas uniquement sur son puissant modèle Llama de 405 milliards de paramètres. La société propose également des versions mises à jour de ses modèles Llama 3 plus légers de 8 et 70 milliards de paramètres, initialement introduits plus tôt cette année.
Les trois nouveaux modèles sont dotés de fonctionnalités multilingues et peuvent gérer des requêtes utilisateur plus complexes grâce à une « fenêtre contextuelle » élargie. Selon Ahmad Al-Dahle, responsable de l’IA générative chez Meta, cette mémoire étendue permet aux modèles de traiter plus efficacement les requêtes en plusieurs étapes. Les retours des utilisateurs, notamment concernant la génération de code, ont fortement influencé cette amélioration.
Al-Dahle a également révélé que son équipe avait intégré des données générées par l’IA dans le processus de formation. Cette approche a notamment amélioré les performances du modèle Llama 3 sur des tâches telles que la résolution de problèmes mathématiques.
Même si la mesure des progrès de l’IA reste un défi, les résultats des tests fournis par Meta suggèrent que leur modèle phare Llama 3 est compétitif, surpassant même Claude 3.5 Sonnet d’Anthropic et GPT-4o d’OpenAI dans certains cas. Ces deux modèles sont largement reconnus comme les modèles de langage volumineux les plus puissants actuellement disponibles.
Par exemple, sur le benchmark MATH, qui se concentre sur les problèmes mathématiques de niveau compétition, le modèle de Meta a obtenu un score de 73,8, contre 76,6 pour GPT-4o et 71,1 pour Claude 3.5 Sonnet. De même, le modèle Llama a obtenu un score de 88,6 sur le benchmark MMLU, englobant diverses matières à travers les mathématiques, les sciences et les sciences humaines. Ici, GPT-4o et Claude 3.5 Sonnet ont obtenu des scores légèrement supérieurs avec respectivement 88,7 et 88,3.
