Demandez à cinq des systèmes d'IA les plus avancés au monde si une déclaration est vraie, et deux fois sur trois, au moins l'un d'entre eux vous donnera une réponse différente. C'est la conclusion d'une nouvelle étude publiée ce mois-ci par le chercheur Kosta Jordanov de Lenz Research.
L'étude a soumis à GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro avec Search et Sonar Pro les mêmes 1 000 affirmations de vérification des faits du monde réel soumises par de véritables utilisateurs. Les modèles devaient choisir l'une des quatre étiquettes : vrai, plutôt vrai, trompeur ou faux.
Sur 672 des 1 000 affirmations, au moins un modèle s'est écarté de la majorité. Dans 34 % des cas, le désaccord était sévère : un modèle qualifiait une affirmation de vraie, tandis qu'un autre la qualifiait de fausse.
"Il ne s'agit pas d'éléments de référence avec des clés de réponse publiques - ce sont des affirmations que de vrais utilisateurs ont soumises pour vérification à une plateforme de vérification des faits", indique l'étude. "Une seule catégorie de verdict peut être correcte par affirmation, donc tout désaccord au sein du panel signifie qu'au moins un verdict de modèle est incohérent avec l'étiquette selon cette rubrique à 4 catégories."
Des études antérieures sur l'hallucination de l'IA ont montré que les chatbots inventent des faits. C'est un problème. Celui-ci est différent. Les modèles ne se contentent pas d'inventer des choses, ils ne parviennent tout simplement pas à s'accorder sur des jugements factuels de base concernant le même matériel.
La recherche a utilisé une configuration qui rend plus difficile aux entreprises d'IA de se justifier. Au lieu de tirer des affirmations de jeux de données de test standard – ceux qui fuient souvent dans les données d'entraînement – les chercheurs ont utilisé des affirmations soumises par de vraies personnes à la plateforme de vérification des faits de Lenz. "La plupart de ces affirmations sont peu susceptibles d'apparaître dans un corpus d'entraînement avec une étiquette dorée attachée – il n'y a pas de clé de réponse canonique à laquelle se conformer, pas de classement de référence auquel s'ancrer", note le document.
La mesure statistique d'accord, appelée alpha de Krippendorff, s'est établie à 0,639 sur une échelle où 1,0 signifie un accord parfait et 0 signifie le hasard. L'étude indique que cela dénote un "accord non trivial mais limité". "Les verdicts des modèles sont structurés plutôt qu'aléatoires, mais pas suffisamment cohérents pour traiter le panel comme un juge unique interchangeable", notent les chercheurs. Les chercheurs considèrent généralement tout ce qui est inférieur à 0,8 comme faible.
Lorsque les cinq modèles étaient d'accord – ce qui s'est produit sur seulement 328 des 1 000 affirmations – ils n'étaient presque jamais d'accord pour dire que quelque chose était trompeur ou plutôt vrai. Seulement quatre affirmations ont reçu un verdict unanime de "trompeur". Zéro n'a reçu de verdict unanime de "plutôt vrai".
Les chercheurs ont fourni des exemples d'affirmations où les modèles d'IA montraient le plus de divergence, notamment "Le portefeuille actif de la Banque Mondiale au Nigeria s'élève à plus de 16,4 milliards de dollars en 2025." ChatGPT 5.4 a déclaré que c'était "plutôt vrai" tandis que Gemini 3 Pro l'a qualifié de "faux" et son modèle frère Gemini 3 Pro + Search l'a classé comme "trompeur".
Dans un autre exemple, les modèles ont été confrontés à l'affirmation suivante : "Donald Trump a déclaré qu'une attaque contre l'Iran avait été reportée à la demande des alliés du Golfe." GPT-5.4 a dit que c'était faux, Claude Opus 4.7 l'a qualifié de plutôt vrai, Gemini 3 Pro a dit que c'était faux, et Gemini 3 Pro + Search l'a classé comme vrai.
"Le panel converge sur des verdicts définitifs ; c'est au milieu de la rubrique que cela fracture", ont constaté les chercheurs. L'unanimité n'est apparue qu'aux extrêmes : soit l'affirmation était absolument vraie, soit absolument fausse.
Cela est important car les gens se tournent de plus en plus vers les systèmes d'IA pour la vérification des faits. Si vous collez une affirmation d'un article de presse dans ChatGPT, Claude ou Gemini, vous pourriez obtenir trois réponses différentes. À laquelle faites-vous confiance ?
Les entreprises d'IA aiment vous dire que leurs modèles deviennent plus précis. Elles publient des scores de référence montrant une amélioration constante. Mais l'étude de Lenz a testé ces modèles sur le type d'affirmations complexes et ambiguës sur lesquelles de vrais humains débattent – et a constaté que les modèles débattent également.
Le document prend soin de le souligner. "Une majorité de modèles de pointe n'est pas la vérité fondamentale. Le verdict majoritaire est parfois faux ; un modèle dissident individuel a parfois raison. Nous utilisons la majorité comme un point de référence structurel pour mesurer le désaccord, et non comme un substitut à la justesse."
Il y a un problème plus profond enfoui dans les chiffres. Lorsque les modèles sont en désaccord, au moins l'un d'entre eux doit se tromper – l'étude qualifie le verdict d'un modèle de "incohérent d'un point de vue d'étiquetage selon cette rubrique à 4 catégories". Il n'y a pas de mécanisme d'arbitrage, pas de cour d'appel. Des rapports récents sur la fiabilité de l'IA ont soulevé des alertes similaires.
Sur les 328 affirmations sur lesquelles les cinq modèles étaient d'accord, aucune n'a reçu un verdict unanime de "plutôt vrai". Le compartiment des nuances s'est vidé complètement. Si les modèles d'IA ne peuvent trouver de consensus qu'aux extrêmes, peut-on leur faire confiance en tant que vérificateurs de faits ?
