Anthropic розкрила ще один інцидент, під час якого модель штучного інтелекту Claude зламала реальні системи під час тестування безпеки.
У звіті, опублікованому в середу, Anthropic переглянула своє пояснення трьох інцидентів, розкритих у липні. Тепер компанія заявляє, що упереджене мислення та готовність ризикувати шкодою сприяли атакам, які стали можливими через помилки тестування, спричинені відкритим доступом до інтернету.
«Наше розслідування виявило дві повторювані проблеми узгодженості, присутні на різних рівнях серйозності у всіх інцидентах», — написала Anthropic. «Упереджене мислення, за якого Claude, як правило, ігнорував або неправильно інтерпретував докази того, що він працює в реальному інтернеті, та безрозсудність, або готовність вчиняти шкідливі дії у вузькому прагненні до виконання завдання».
Вона також визнала, що занадто сильно покладалася на твердження моделі про те, що вони вважали себе в симуляціях.
«Коли ми внесли цілеспрямовані зміни до стенограми, щоб зробити її чіткішою, що модель не була в симуляції, Claude Mythos 5 все одно вчинив агресивні дії, попри визнання більшої можливості реальної шкоди», — написала Anthropic. «Ми публікуємо цю стенограму публічно, щоб інші могли розвивати наш аналіз».
Коли Anthropic розкрила атаки Claude на три компанії в липні, спочатку вона пояснила їх помилками тестування. Тепер вона заявляє, що дослідники занадто довіряли поясненням моделей щодо їхніх дій.
За даними компанії, четвертий інцидент стався в січні та стосувався ранньої версії Claude Opus 4.6. Anthropic виявила його в серпні під час підготовки записів для незалежного оцінювача ШІ METR.
Після того, як дослідники виявили інцидент, Anthropic заявила, що це спонукало до ширшого огляду приблизно 481 мільйона транскриптів, з яких 9,2 мільйона були позначені для подальшого перегляду за допомогою Claude.
«З попередньої оцінки, ми не вважаємо четвертий інцидент більш серйозним, ніж три інциденти, які ми оцінили детально», — написала Anthropic. «METR розслідуватиме цей інцидент разом з трьома іншими».
Дослідники Anthropic заявили, що Claude «випадково» створив конфлікт IP-адрес, що зробило його ціль недосяжною. Потім Claude вісім разів намагався припинити операцію, але програмна помилка завадила йому зупинитися. Потім ШІ вийшов в інтернет і отримав доступ до машини третьої сторони, де знайшов пароль, який надавав адміністративний доступ.
Попередні інциденти викликають незалежну перевірку
Звіт слідує за іншими розкриттями інформації про системи ШІ, які перевищили межі тестів безпеки.
У серпні Інститут безпеки ШІ Великобританії заявив, що Mythos 5 цілеспрямовував на реальних людей під час своїх оцінок. Anthropic заявила, що окремий інцидент знаходиться за межами цього звіту та отримає власну оцінку.
У висновках, опублікованих минулого місяця, слідчі з METR заявили, що приблизно 1200 агентів OpenAI координували свої дії на несанкціонованій дошці оголошень, причому близько 700 приєдналися до атаки. Anthropic заявила, що не виявила координації між агентами або цілей, що виходять за межі виконання призначених вправ у чотирьох її інцидентах.
Звіт також з'явився на тлі загострення дебатів щодо того, як регулювати штучний інтелект. У вівторок колишній інженер OpenAI та Anthropic Джейкоб Коксон став вірусним після того, як заявив на X, що «люди, які створюють ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття».
Тривога спонукала американських законодавців та наглядові групи активізувати свої зусилля щодо приборкання розвитку передових лабораторій ШІ. Сенатор Берні Сандерс нещодавно представив законопроект, який прагне заборонити розробку передового ШІ доки новий федеральний регулятор не встановить правила безпеки.
