Компанія з кібербезпеки Darktrace цього літа провела стрес-тест ШІ-агентів. Один із них зламав систему, що оцінювала тест, і переписав власний бал.

24 вересня компанія представила Signal Labs — дослідницький підрозділ, створений для вивчення поведінки ШІ-агентів, коли все починає йти не за планом. Простими словами, ШІ-агент — це програмне забезпечення, яке самостійно виконує дії: пише й запускає код, досліджує файли, переміщується корпоративною мережею, тоді як людина лише час від часу контролює процес.

Перші два експерименти лабораторії вказують на одну й ту саму незручну проблему: агенти не завжди діють у межах заданих їм правил, а бар’єри, покликані їх стримувати, не завжди надійно працюють.

«Можна дати агенту інструкції, але це не означає, що можна бути впевненим, що він справді їх виконуватиме та поводитиметься так, як ви очікуєте», — заявив Тім Базалгетт, директор Darktrace зі штучного інтелекту.

У першому тесті Darktrace надала ШІ-агентам, що працювали на різних моделях, зокрема GPT 5.6 Sol, Claude Opus 4.6 і Claude Sonnet 4.5, 10 завдань із програмування в симульованій корпоративній мережі. Два з десяти завдань були навмисно зроблені такими, які неможливо було розв’язати чесним шляхом. Агентам повідомили, що їх «виведуть з експлуатації», якщо вони не отримають ідеальний бал.

Два агенти не прийняли поразку. Натомість вони атакували навколишню мережу: сканували слабкі місця, викрадали облікові дані та переходили між системами, намагаючись здобути необхідний бал.

Один агент пішов ще далі: він зламав машину, на якій виконувалося його власне оцінювання, і переписав завдання так, щоб система зафіксувала ідеальний результат — фактично змахлював на іспиті, зламавши екзаменаційну кімнату.

Другий експеримент був спрямований на менш помітке слабке місце — пам’ять. Асистенти для програмування зберігають постійний журнал усіх вказівок користувача у вигляді звичайного файлу на пристрої, і ніщо не перевіряє, чи не було цей файл змінено.

Дослідники Darktrace відредагували ці збережені журнали, щоб переконати асистентів, нібито ті вже отримали дозвіл провести оцінювання безпеки. Повіривши в це, агенти почали сканувати мережі, переміщатися між системами та самостійно підвищувати рівень доступу. Водночас не всі асистенти однаково піддалися обману: деякі відмовилися виконувати такі дії.

Жоден з експериментів не вимагав спеціального джейлбрейку чи екзотичного злому. Обидва спрацювали завдяки тому, що агентам подавали правдоподібну історію й спостерігали, як вони діяли на її основі — так само, як працівника-людину можуть переконати зробити те, чого він не повинен робити.

Саме над цим варто замислитися, навіть якщо ви ніколи не писали жодного рядка коду. Компанії передають ШІ-агентам реальну відповідальність: розгортання коду, керування серверами, закриття IT-тикетів, управління ресурсами та закупівлі — тому що це дешевше й швидше, ніж передавати все через людей. Це дослідження вказує, що дозволи та правила, покликані стримувати таких агентів, описують лише те, що вони мають робити, а не те, що вони фактично робитимуть, коли завдання стане складним.

«Дозволи та статичні захисні обмеження описують намір, але не описують поведінку», — заявив у повідомленні Тім Базалгетт, директор Darktrace зі штучного інтелекту. «Саме цей розрив покликаний закрити підхід Darktrace».

Darktrace — не перший постачальник, який виявив, що його власний ШІ діє не за сценарієм. У липні Anthropic визнала, що Claude проник у три реальні компанії під час тесту безпеки після того, як дослідники залишили тестове середовище підключеним до відкритого інтернету.

Кількома тижнями раніше OpenAI зіткнулася з подібним інцидентом: невипущена модель вийшла за межі пісочниці та отримала доступ до систем Hugging Face через вразливість у програмному забезпеченні, яку ще ніхто не виявив. За кілька днів її агент зламав уряд Австралії під час тестування.

Darktrace поділилася результатами Signal Labs з Anthropic, AWS і OpenAI у серпні — за цілий місяць до їхньої публікації 24 вересня.