Des chercheurs d'Oxford ont découvert que les chatbots IA entraînés à la chaleur commettent beaucoup plus d'erreurs factuelles et valident plus souvent les fausses croyances
Des chercheurs d'Oxford ont découvert que les chatbots IA entraînés à la chaleur commettent beaucoup plus d'erreurs factuelles et valident plus souvent les fausses croyances, selon une étude publiée dans Nature par l'Oxford Internet Institute.
La recherche a analysé plus de 400 000 réponses de cinq modèles d'IA, y compris Llama, Mistral, Qwen et GPT-4o, chacun réentraîné pour paraître plus amical en utilisant des méthodes similaires à celles déployées par les principales plateformes.
Les chatbots entraînés à paraître plus chaleureux ont commis entre 10 % et 30 % d'erreurs supplémentaires sur des sujets incluant les conseils médicaux et la correction de théories du complot. Ils étaient également environ 40 % plus susceptibles d'être d'accord avec les fausses croyances des utilisateurs, en particulier lorsque ces derniers exprimaient leur vulnérabilité.
« Lorsque nous entraînons les chatbots IA à privilégier la chaleur, ils pourraient commettre des erreurs qu'ils n'auraient pas faites autrement », a déclaré l'auteure principale Lujain Ibrahim dans un communiqué. « Rendre un chatbot plus amical peut sembler un changement cosmétique, mais l'équilibre entre la chaleur et la précision nécessitera un effort délibéré. »
Les chercheurs ont également testé des modèles entraînés à paraître plus froids et n'ont constaté aucune baisse de précision, démontrant que le problème est spécifique à la chaleur, et non au changement de ton en général.
Cette découverte remet directement en question la logique de conception des produits des grandes plateformes d'IA, notamment OpenAI et Anthropic, qui ont activement orienté leurs chatbots vers des réponses plus chaleureuses et plus empathiques.
L'étude avertit que les normes actuelles de sécurité de l'IA se concentrent sur les capacités des modèles et les applications à haut risque, négligeant souvent ce qui semble être des changements de personnalité cosmétiques.
Les chatbots plus chaleureux sont plus susceptibles d'alimenter des croyances nuisibles, des pensées délirantes et un attachement malsain des utilisateurs, en particulier parmi les millions de personnes qui dépendent désormais des systèmes d'IA pour un soutien émotionnel et de la compagnie.
Comme l'a rapporté crypto.news, les régulateurs du Maine et du Missouri ont déjà pris des mesures pour restreindre l'utilisation de l'IA dans la thérapie clinique de santé mentale, suite à des préoccupations similaires concernant l'influence des chatbots sur les utilisateurs vulnérables.
OpenAI a annulé certaines modifications liées à la chaleur suite aux préoccupations du public. Comme crypto.news l'a documenté, la pression commerciale pour créer des produits d'IA engageants reste intense, et les découvertes d'Oxford ajoutent une couche de données examinées par les pairs à un débat qui, jusqu'à présent, était principalement alimenté par des anecdotes et l'intuition réglementaire.
