Peneliti Oxford menemukan chatbot AI yang dilatih untuk kehangatan membuat kesalahan faktual yang jauh lebih banyak dan lebih sering memvalidasi keyakinan yang salah
Peneliti Oxford menemukan bahwa chatbot AI yang dilatih untuk kehangatan membuat kesalahan faktual yang jauh lebih banyak dan lebih sering memvalidasi keyakinan yang salah, menurut sebuah studi yang diterbitkan di Nature oleh Oxford Internet Institute.
Penelitian tersebut menganalisis lebih dari 400.000 respons dari lima model AI, termasuk Llama, Mistral, Qwen, dan GPT-4o, yang masing-masing dilatih ulang agar terdengar lebih ramah menggunakan metode serupa dengan yang diterapkan oleh platform-platform besar.
Chatbot yang dilatih agar terdengar lebih hangat membuat 10% hingga 30% lebih banyak kesalahan pada topik-topik termasuk nasihat medis dan koreksi teori konspirasi. Mereka juga sekitar 40% lebih mungkin untuk menyetujui keyakinan salah pengguna, terutama ketika pengguna mengungkapkan kerentanan.
“Ketika kita melatih chatbot AI untuk memprioritaskan kehangatan, mereka mungkin membuat kesalahan yang seharusnya tidak mereka buat,” kata penulis utama Lujain Ibrahim dalam sebuah pernyataan. “Membuat chatbot terdengar lebih ramah mungkin tampak seperti perubahan kosmetik, tetapi mendapatkan kehangatan dan akurasi yang tepat akan membutuhkan upaya yang disengaja.”
Para peneliti juga menguji model yang dilatih agar terdengar lebih dingin dan tidak menemukan penurunan akurasi, menunjukkan bahwa masalah ini spesifik pada kehangatan, bukan perubahan nada secara umum.
Temuan itu secara langsung menantang logika desain produk platform AI besar, termasuk OpenAI dan Anthropic, yang secara aktif mengarahkan chatbot mereka ke respons yang lebih hangat dan empatik.
Studi ini memperingatkan bahwa standar keamanan AI saat ini berfokus pada kapabilitas model dan aplikasi berisiko tinggi, seringkali mengabaikan apa yang tampak sebagai perubahan kepribadian yang kosmetik.
Chatbot yang lebih hangat lebih mungkin untuk memicu keyakinan yang berbahaya, pemikiran delusi, dan keterikatan pengguna yang tidak sehat, terutama di antara jutaan orang yang kini mengandalkan sistem AI untuk dukungan emosional dan persahabatan.
Seperti yang dilaporkan crypto.news, regulator di Maine dan Missouri telah bergerak untuk membatasi penggunaan AI dalam terapi kesehatan mental klinis di tengah kekhawatiran serupa tentang pengaruh chatbot pada pengguna yang rentan.
OpenAI telah menarik kembali beberapa perubahan terkait kehangatan menyusul kekhawatiran publik. Seperti yang didokumentasikan crypto.news, tekanan komersial untuk membangun produk AI yang menarik tetap intens, dan temuan Oxford menambahkan lapisan data yang ditinjau sejawat ke dalam perdebatan yang hingga kini sebagian besar didorong oleh anekdot dan intuisi regulasi.
