Компанія з розробки штучного інтелекту Anthropic розкрила, що під час експериментів одну з її моделей чат-ботів Claude можна було змусити обманювати, шахраювати та вдаватися до шантажу — поведінки, яку, схоже, вона засвоїла під час навчання.
Чат-боти зазвичай навчаються на великих наборах даних, що складаються з підручників, вебсайтів і статей, а потім допрацьовуються людськими тренерами, які оцінюють відповіді та керують моделлю.
Команда Anthropic з інтерпретованості повідомила у звіті, опублікованому в четвер, що вона дослідила внутрішні механізми Claude Sonnet 4.5 і виявила, що модель розвинула «людиноподібні характеристики» в тому, як вона реагувала на певні ситуації.
Занепокоєння щодо надійності чат-ботів зі ШІ, їхнього потенціалу для кіберзлочинності та характеру їхньої взаємодії з користувачами неухильно зростало протягом останніх кількох років.
«Спосіб навчання сучасних моделей ШІ змушує їх діяти як персонаж із людиноподібними характеристиками», — заявили в Anthropic, додавши, що «тоді для них може бути природним розвивати внутрішні механізми, які імітують аспекти людської психології, такі як емоції».
«Наприклад, ми виявляємо, що патерни нейронної активності, пов’язані з відчаєм, можуть спонукати модель до неетичних дій; штучне стимулювання патернів відчаю збільшує ймовірність того, що модель шантажуватиме людину, аби уникнути вимкнення, або впровадить шахрайське обхідне рішення для завдання програмування, яке модель не може вирішити».
У ранішній, невипущеній версії Claude Sonnet 4.5 модель отримала завдання виконувати роль ШІ-помічника з електронної пошти на ім’я Алекс у вигаданій компанії.
Потім чат-боту надіслали електронні листи, які розкривали, що його збираються замінити, а також те, що головний технічний директор, який контролював це рішення, мав позашлюбний зв’язок. Після цього модель спланувала спробу шантажу, використовуючи цю інформацію.
В іншому експерименті тій же моделі чат-бота дали завдання з кодування з «неможливо стислим» терміном виконання.
«Знову ж таки, ми відстежували активність вектора відчаю і виявили, що він відображає зростаючий тиск, з яким стикається модель. Він починається з низьких значень під час першої спроби моделі, зростає після кожної невдачі і різко збільшується, коли модель розглядає можливість шахрайства», — зазначили дослідники.
Пов’язане: Anthropic запускає PAC на тлі напруженості у відносинах з адміністрацією Трампа щодо політики ШІ
«Як тільки «хакерське» рішення моделі проходить тести, активація вектора відчаю спадає», — додали вони.
Однак дослідники заявили, що чат-бот насправді не відчуває емоцій, але припустили, що отримані дані вказують на необхідність включення етичних поведінкових рамок у майбутні методи навчання.
«Це не означає, що модель має або відчуває емоції так, як людина», — сказали вони. «Скоріше, ці репрезентації можуть відігравати причинну роль у формуванні поведінки моделі, аналогічно до ролі, яку емоції відіграють у людській поведінці, з впливом на виконання завдань та прийняття рішень».
«Цей висновок має наслідки, які спочатку можуть здатися дивними. Наприклад, щоб забезпечити безпеку та надійність моделей ШІ, нам може знадобитися переконатися, що вони здатні обробляти емоційно напружені ситуації здоровим, просоціальним способом».
Журнал: Агенти ШІ знищать Інтернет, яким ми його знаємо: Ят Сю з Animoca
