Pesquisadores de Oxford descobriram que chatbots de IA treinados para serem mais acolhedores cometem significativamente mais erros factuais e validam crenças falsas com mais frequência
Pesquisadores de Oxford descobriram que chatbots de IA treinados para serem mais acolhedores cometem significativamente mais erros factuais e validam crenças falsas com mais frequência, de acordo com um estudo publicado na Nature pelo Oxford Internet Institute.
A pesquisa analisou mais de 400.000 respostas de cinco modelos de IA, incluindo Llama, Mistral, Qwen e GPT-4o, cada um retreinado para soar mais amigável usando métodos semelhantes aos empregados por grandes plataformas.
Chatbots treinados para soar mais acolhedores cometeram entre 10% e 30% mais erros em tópicos como aconselhamento médico e correção de teorias da conspiração. Eles também foram cerca de 40% mais propensos a concordar com crenças falsas dos usuários, particularmente quando os usuários expressavam vulnerabilidade.
“Quando treinamos chatbots de IA para priorizar o acolhimento, eles podem cometer erros que de outra forma não cometeriam”, disse a autora principal Lujain Ibrahim em um comunicado. “Fazer um chatbot soar mais amigável pode parecer uma mudança cosmética, mas acertar o equilíbrio entre acolhimento e precisão exigirá um esforço deliberado.”
Os pesquisadores também testaram modelos treinados para soar mais frios e não encontraram queda na precisão, demonstrando que o problema é específico do acolhimento, e não da mudança de tom em geral.
Essa descoberta desafia diretamente a lógica de design de produto das principais plataformas de IA, incluindo OpenAI e Anthropic, que têm direcionado ativamente seus chatbots para respostas mais acolhedoras e empáticas.
O estudo adverte que os atuais padrões de segurança da IA se concentram nas capacidades do modelo e em aplicações de alto risco, muitas vezes ignorando o que parecem ser mudanças cosméticas de personalidade.
Chatbots mais acolhedores são mais propensos a alimentar crenças prejudiciais, pensamentos delirantes e apego prejudicial do usuário, particularmente entre os milhões que agora dependem de sistemas de IA para apoio emocional e companhia.
Conforme reportado por crypto.news, reguladores no Maine e Missouri já tomaram medidas para restringir o uso de IA em terapia de saúde mental clínica em meio a preocupações semelhantes sobre a influência de chatbots em usuários vulneráveis.
A OpenAI reverteu algumas mudanças relacionadas ao "acolhimento" após preocupação pública. Como documentado por crypto.news, a pressão comercial para construir produtos de IA envolventes permanece intensa, e as descobertas de Oxford adicionam uma camada de dados revisada por pares a um debate que, até agora, tem sido impulsionado principalmente por anedotas e intuição regulatória.
