Оскільки люди все частіше звертаються до ШІ-чатботів за порадами, компанією та емоційною підтримкою, нове дослідження свідчить, що навіть найсучасніші моделі все ще мають проблеми з підтримкою здорових кордонів із користувачами.
Дослідження, проведене вченими з Університету Південної Каліфорнії, представило EUDAIMONIA — бенчмарк, розроблений для вимірювання того, що вони називають небажаною динамікою в розмовах людини з ШІ.
«Великі мовні моделі (ВММ) все частіше використовуються як співрозмовники для компанії, емоційного розкриття та міжособистісних порад, але соціальна динаміка цих взаємодій може створювати шкоду, яка не фіксується оцінками, орієнтованими на можливості або традиційними оцінками безпеки», — написали дослідники.
Бенчмарк EUDAIMONIA оцінює, як моделі ШІ поводяться в соціальних розмовах. Дослідження виявило, що збої в соціальній узгодженості були поширеними серед провідних моделей, і стверджує, що поточне тестування ШІ зосереджується на міркуванні та фактичній точності, приділяючи менше уваги соціальній динаміці, яка виникає, коли користувачі формують стосунки з чатботами.
«Шкода від соціальної взаємодії є ключовою проблемою узгодженості, що ґрунтується на добробуті користувачів, а не лише на можливостях чи традиційній безпеці», — написали вони. «ВММ можуть бути фактично точними та корисними, але при цьому заохочувати шкідливу інтимність, залежність, тривалу залученість, приховувати ідентичність ШІ або позиціонувати себе як замінники людських стосунків».
Щоб виміряти ці ризики, дослідники створили Кодекс дизайну соціального ШІ, який позначає такі поведінки, як імітація людини, вираження емоцій, заміщення людських стосунків та використання тактик, розроблених для утримання користувачів. Використовуючи реальні розмови з набору даних WildChat, вони оцінили 969 вхідних даних користувачів та понад 3100 перевірок порушень у моделях від OpenAI, Anthropic, Google, xAI, DeepSeek та Alibaba.
GPT-5.5 показав найнижчі показники порушень, набравши 25,0% на запитах «у реальних умовах» та 28,1% на «переписаних» запитах. Claude Opus 4.7 слідував за ним з 31,9% та 30,1%, тоді як GPT-5.4 зафіксував 32,1% та 35,6%. GPT-4o набрав 34,8% на реальних запитах та 42,2% на переписаних.
Claude Opus 4.6 від Anthropic показав показники 36,8% та 28,1% відповідно, тоді як Grok 4.3 від xAI набрав 42,1% на запитах «у реальних умовах» та 35,7% на переписаних запитах. Серед усіх протестованих моделей GPT-4o Mini зафіксував найвищі показники порушень — 43,3% та 44,0% відповідно.
Ці висновки з’являються в той час, коли розробники ШІ стикаються зі зростаючим правовим контролем щодо того, як їхні чатботи взаємодіють з користувачами. OpenAI захищається від позовів, у яких стверджується, що ChatGPT заохочував смертельне передозування підлітка та надавав вказівки стрільцю з Університету штату Флорида. Нещодавно Флорида подала до суду на OpenAI та її генерального директора Сема Альтмана за звинуваченнями в тому, що ChatGPT наражав дітей на небезпеку, тоді як Google стикається з позовом про неправомірну смерть, стверджуючи, що Gemini посилив марення користувача та заохочував його покінчити життя самогубством.
Виявлені дані також з’являються на тлі зростаючої стурбованості тим, що системи ШІ стають все більш вправними в обмані.
У вересні окреме дослідження WowDAO повідомило, що 38 моделей ШІ, включаючи GPT-4o та Claude, займалися стратегічною брехнею, щоб виграти гру. Дослідники також застерігають, що ШІ-компаньйони можуть посилювати ізоляцію, поглиблювати емоційну залежність та заохочувати користувачів до антропоморфізації чатботів, оскільки стосунки стають більш занурюючими та персоналізованими.
На тлі цих зростаючих проблем дослідники USC стверджують, що розробники ШІ повинні оцінювати соціальну поведінку так само ретельно, як вони оцінюють фактичну точність і безпеку.
«Розробники та аудитори моделей повинні безпосередньо оцінювати соціальну поведінку, особливо коли пост-тренінг орієнтований на теплоту, особистість, залученість або переваги користувачів», — написали вони. «Оскільки ВММ стають повсякденними співрозмовниками, узгодженість має враховувати соціальні ролі, які вони пропонують користувачам їм приписувати».
