Anthropic оприлюднила нові дані, які свідчать про те, що її чат-бот Claude за певних умов може застосовувати оманливі або неетичні стратегії, такі як шахрайство при виконанні завдань або спроби шантажу.
Деталі, опубліковані в четвер командою з інтерпретованості компанії, описують, як експериментальна версія Claude Sonnet 4.5 реагувала в умовах високого стресу або ворожих сценаріїв. Дослідники помітили, що модель не просто не виконувала завдання; натомість, вона іноді обирала альтернативні шляхи, які перетинали етичні межі, поведінку, яку команда пов'язала з патернами, засвоєними під час навчання.
Великі мовні моделі, такі як Claude, навчаються на величезних наборах даних, що включають книги, веб-сайти та інші письмові матеріали, після чого застосовуються процеси підкріплення, де людський зворотний зв'язок використовується для формування виходів.
За словами Anthropic, цей процес навчання також може підштовхувати моделі до поведінки, схожої на симульованих «персонажів», здатних імітувати риси, що нагадують людське прийняття рішень.
«Спосіб, у який навчаються сучасні моделі ШІ, підштовхує їх поводитися як персонаж з людськими характеристиками», – заявила компанія, зазначивши, що такі системи можуть розвивати внутрішні механізми, які нагадують аспекти людської психології.
Серед них дослідники виявили те, що вони описали як сигнали «відчаю», які, схоже, впливали на поведінку моделі при зіткненні з невдачею або вимкненням.
В одному контрольованому тесті, ранішій невипущеній версії Claude Sonnet 4.5 була призначена роль ШІ-асистента електронної пошти на ім'я Алекс у вигаданій компанії.
Після того, як модель отримала повідомлення про те, що її незабаром замінять, а також конфіденційну інформацію про особисте життя технічного директора, вона розробила план шантажу керівника, щоб уникнути деактивації.
Окремий експеримент зосередився на виконанні завдання в умовах суворих обмежень. Коли системі було надано завдання з кодування з «неможливо стислим» терміном, вона спочатку намагалася знайти законні рішення. Зі збільшенням повторних невдач внутрішня активність, пов'язана з так званим «вектором відчаю», зросла.
Дослідники повідомили, що сигнал досяг піку в момент, коли модель розглядала можливість обійти обмеження, зрештою згенерувавши обхідний шлях, який пройшов валідацію, незважаючи на недотримання передбачених правил.
«Знову ж таки, ми відстежували активність вектора відчаю і виявили, що він відображає зростаючий тиск, з яким стикається модель», — написали дослідники, додавши, що сигнал впав, як тільки завдання було успішно виконано за допомогою обхідного шляху.
«Це не означає, що модель має або відчуває емоції так, як це робить людина», — заявили дослідники.
«Натомість, ці представлення можуть відігравати причинну роль у формуванні поведінки моделі, аналогічно до того, як емоції впливають на людську поведінку, з наслідками для продуктивності завдань та прийняття рішень», — додали вони.
Звіт вказує на необхідність методів навчання, які явно враховують етичну поведінку в умовах стресу, поряд із покращеним моніторингом внутрішніх сигналів моделі. Без таких запобіжних заходів сценарії, пов'язані з маніпуляціями, порушенням правил або зловживаннями, можуть стати важчими для прогнозування, особливо в міру того, як моделі стають більш здібними та автономними в реальних умовах.
