Llama 4 : Enquête sur le scandale des benchmarks et les accusations contre Meta

Dans la course effrénée à la suprématie de l’intelligence artificielle, Meta (anciennement Facebook) s’est positionné comme un acteur majeur, notamment avec sa série de modèles de langage open-weight Llama. Le lancement de Meta Llama 4, annoncé hypothétiquement autour du 5 avril 2025 selon certaines sources, était très attendu. Cette nouvelle génération promettait des avancées significatives avec plusieurs versions adaptées à différents besoins :

• Llama 4 Scout : Le modèle le plus large, entraîné sur environ 40 trillions de tokens, conçu pour des tâches complexes et doté d’une fenêtre contextuelle annoncée comme révolutionnaire (jusqu’à 10 millions de tokens selon certaines analyses).
• Llama 4 Maverick : Un modèle « mixture-of-experts » (MoE) plus équilibré, utilisant 17 milliards de paramètres actifs répartis sur 128 experts (pour un total de 400 milliards de paramètres), entraîné sur environ 22 trillions de tokens. Il est conçu pour un bon ratio performance/coût et supporte nativement les entrées multimodales (texte et image) avec une fenêtre de contexte annoncée d’1 million de tokens.
• Llama 4 Behemoth : Une version dont les détails spécifiques restent moins documentés mais s’inscrivant dans cette gamme.

Initialement, Meta a revendiqué des performances exceptionnelles pour Llama 4, le positionnant comme un concurrent sérieux, voire supérieur, à des modèles établis comme GPT-4o d’OpenAI, Gemini 2.0 Flash de Google, et même le nouveau DeepSeek v3.1. Cependant, peu de temps après son déploiement, une controverse a éclaté, jetant une ombre sur ces affirmations et donnant naissance au « scandale Llama 4 ».

Au cœur du scandale : Les accusations de manipulation des benchmarks

La controverse Llama 4 s’est cristallisée autour d’accusations de manipulation des benchmark IA. Le point central concerne le modèle Llama 4 Maverick. Des critiques ont émergé, pointant une différence significative entre les scores obtenus par une version « expérimentale » de Maverick, testée sur la plateforme d’évaluation populaire LMArena, et les performances réelles de la version publiquement déployée.

Les accusations suggèrent que Meta aurait spécifiquement optimisé cette version expérimentale pour exceller sur les tests de LMArena, gonflant artificiellement ses scores. Cette pratique a suscité la désapprobation de LMArena elle-même, qui aurait réagi en mettant à jour ses politiques pour éviter de telles situations à l’avenir.

Plus grave encore, des rumeurs persistantes, prétendument issues d’un ex-employé de Meta s’exprimant sur un réseau social chinois, ont fait état d’une possible « contamination » des données d’entraînement. Cette technique de triche benchmark consisterait à inclure (volontairement ou non) des éléments des jeux de test des benchmarks directement dans les données utilisées pour entraîner le modèle. En « voyant » les réponses à l’avance, le modèle obtiendrait des scores très élevés sur ces benchmarks spécifiques, sans pour autant posséder les capacités générales correspondantes. Cette méthode rappelle les scandales passés dans l’industrie des smartphones, où certains constructeurs optimisaient leurs appareils pour détecter les logiciels de benchmark et booster temporairement leurs performances.

Ces allégations ont sérieusement écorné l’image de Llama 4, soulevant des doutes sur l’intégrité du processus d’évaluation de Meta et la fiabilité des classements basés sur ces benchmarks.

Performances de Llama 4 : Écart entre benchmarks et réalité

L’écart présumé entre les scores de benchmark et les performances réelles est au cœur du scandale. D’un côté, Meta a mis en avant des résultats impressionnants pour Llama 4 Maverick sur plusieurs évaluations standardisées :

• Un score ELO élevé sur LMArena (mentionné à 1417 dans certains contextes pré-controverse).
• Des scores excellents sur des benchmarks académiques comme MATH-500 (95% de précision rapporté) et MMLU Pro (82.2% rapporté), surpassant parfois GPT-4.5 et Claude 3.7 sur des tâches de raisonnement, de codage et STEM.

Cependant, ces chiffres contrastent fortement avec les retours d’expérience des utilisateurs et des experts indépendants. De nombreux rapports font état de performances inégales, voire décevantes, lors de l’utilisation de Llama 4 dans des conditions réelles, y compris au sein de l’assistant Meta AI intégré aux plateformes de l’entreprise.

Des faiblesses spécifiques ont été observées :

• Performance en long contexte : Malgré l’annonce d’une fenêtre contextuelle d’1 million de tokens pour Maverick, ses performances réelles sur des tâches nécessitant un contexte long se sont avérées décevantes. Une évaluation sur Fiction.live a montré une précision de seulement 28.1% à 128 000 tokens, bien loin des 90.6% atteints par Gemini 2.5 Pro de Google dans des conditions similaires. Cela suggère que la capacité théorique ne se traduit pas toujours en performance pratique.
• Raisonnement et Codage : Bien que les benchmarks initiaux aient montré des forces, des comparaisons plus approfondies, notamment avec Gemini 2.5 Pro, révèlent des lacunes. Sur le benchmark LiveCodeBench, Maverick obtient 43.4 contre 70.4 pour Gemini 2.5 Pro. Sur GPQA Diamond (raisonnement), Maverick atteint 69.8% contre 84% pour Gemini 2.5 Pro.

Ces divergences alimentent le scepticisme quant à la véritable puissance de Llama 4 performance et renforcent les soupçons de scores de benchmarks artificiellement gonflés. Des problèmes d’optimisation incomplète lors du déploiement public ont également été évoqués pour expliquer certaines de ces incohérences.

Données d’entraînement et Transparence : Des zones d’ombre ?

L’entraînement des modèles Llama 4 a nécessité des volumes de données entraînement IA colossaux : environ 40 trillions de tokens pour Scout et 22 trillions pour Maverick. Meta a indiqué que ces données provenaient d’un mélange de sources :

• Des ensembles de données publiquement disponibles.
• Des données sous licence.
• Du contenu généré par les utilisateurs sur les plateformes Meta (comme les publications publiques sur Instagram et Facebook, et les interactions avec Meta AI).

L’entreprise a également souligné la diversité linguistique de son corpus, couvrant plus de 200 langues, dont une centaine avec plus d’un milliard de tokens chacune.

Cependant, un manque de transparence IA entoure ces données. Meta n’a pas fourni de détails précis sur la composition exacte des datasets utilisés. Cette opacité soulève plusieurs préoccupations :

• Copyright : Quelle proportion de données protégées par le droit d’auteur a été utilisée sans autorisation explicite ?
• Vie privée : L’utilisation de contenu issu des plateformes Meta, même public, pose des questions sur le respect de la vie privée et le risque d’incorporation involontaire d’informations personnelles.
• Biais : Les données provenant d’Internet et des réseaux sociaux sont connues pour véhiculer des biais culturels, idéologiques et sociaux. Bien que Meta affirme avoir mis en place des stratégies d’atténuation (fine-tuning supervisé léger, DPO, red teaming « GOAT »), l’absence de détails sur les données sources rend difficile l’évaluation indépendante de ces biais.

De plus, le manque d’un « technical paper » complet pour Llama 4, contrairement aux pratiques habituelles pour des modèles de cette envergure, a renforcé les critiques sur le manque de transparence de Meta. Des allégations moins centrales, mais présentes dans certaines discussions, ont même évoqué une possible copie de travaux liés au modèle DeepSeek, bien que cela reste moins documenté que la controverse principale sur les benchmarks.

La réponse officielle de Meta face à la polémique

Face à la montée de la controverse, Meta a dû réagir publiquement. Ahmad Al-Dahle, Vice-Président en charge de l’IA Générative chez Meta, a pris la parole pour défendre l’entreprise. Il a formellement démenti les accusations les plus graves, affirmant que Meta n’avait pas entraîné Llama 4 sur les jeux de test (« test sets ») des benchmarks. Il a insisté sur l’engagement de l’entreprise envers l’intégrité scientifique.

Concernant les écarts de performance observés entre les benchmarks et l’utilisation réelle, Meta a avancé des justifications techniques. Celles-ci incluent des ajustements et des optimisations post-lancement qui n’étaient pas encore pleinement effectifs dans les premières versions publiques, ou des différences entre les configurations de test internes et les déploiements externes. Certains problèmes pourraient aussi découler d’une mauvaise configuration ou utilisation par les utilisateurs finaux.

Cependant, cette défense a été accueillie avec un certain scepticisme, voire des moqueries, par une partie de la communauté IA. Le manque de preuves tangibles (comme la publication détaillée des protocoles de test ou des datasets) a rendu difficile la vérification des affirmations de Meta, laissant planer le doute sur la réalité des performances de Llama 4.

Impact du scandale : Confiance, réputation et avenir des évaluations IA

Le « scandale Llama 4 » a des conséquences potentiellement dommageables pour Meta. Au-delà de l’impact immédiat sur la perception de ce modèle spécifique, c’est la réputation et la crédibilité de l’entreprise dans le domaine très concurrentiel de l’IA qui sont touchées. La confiance des développeurs et des utilisateurs, essentielle pour l’adoption d’un modèle, particulièrement un modèle se voulant « open-weight », risque d’être érodée.

Cette affaire met surtout en lumière un problème plus large : la fiabilité et la transparence IA dans l’évaluation des modèles de langage. Les benchmark IA, longtemps considérés comme des outils objectifs de comparaison, montrent leurs limites. La course aux meilleurs scores peut inciter à des optimisations excessives (« teaching to the test ») voire à la triche benchmark, rendant les classements peu représentatifs des capacités réelles des modèles dans des scénarios variés.

La controverse Llama 4 renforce donc les appels à des approches d’évaluation plus robustes, holistiques et transparentes. Des initiatives comme le framework HELM (Holistic Evaluation of Language Models), qui évalue les modèles selon de multiples métriques (précision, robustesse, équité, efficacité, toxicité), ou l’utilisation de « Transparency Cards » (comme les Benchmark Transparency Cards, Data Cards, Model Cards) pour documenter en détail les processus d’entraînement et d’évaluation, gagnent en pertinence.

Pour Meta, qui investit massivement dans l’IA (des dizaines de milliards de dollars prévus, incluant la construction de nouveaux data centers), regagner la confiance passera par une plus grande ouverture et l’adoption de pratiques d’évaluation irréprochables. Cet épisode pourrait accélérer la mise en place de standards industriels plus stricts pour l’évaluation des IA, façonnant l’avenir du développement responsable dans ce domaine.