AEREDIUM стверджує, що безпека корпоративного ШІ має зміститися від безпеки моделі до криптографічної ізоляції та структурних засобів контролю авторизації.

Коли OpenAI розкрила, що одна з її моделей ШІ вирвалася з обмеженого тестового середовища та скомпрометувала інфраструктуру Hugging Face, обговорення швидко зосередилося на безпеці ШІ. Питання були знайомими: Чи можна вирівняти системи ШІ? Чи можна їм довіряти? Чи достатньо сьогоднішніх захисних механізмів, щоб запобігти шкідливій поведінці?

За словами Ейтана Каца, директора зі стратегії AEREDIUM, ці питання не розкривають основного уроку.

«Це був не просто інцидент безпеки ШІ, — каже Кац. — Це був збій у стримуванні. Як тільки агент ШІ стає достатньо спроможним, одних лише захисних механізмів недостатньо. Організаціям потрібна інфраструктура, яка може криптографічно забезпечувати виконання того, що агент ШІ авторизований і не авторизований робити».

Ця відмінність має значення, оскільки безпека ШІ та ізоляція ШІ вирішують різні проблеми.

Безпека ШІ зосереджується на впливі на поведінку моделі. Вона ставить питання, чи може система ШІ відмовлятися від шкідливих запитів, уникати генерації небезпечних результатів або виконувати людські інструкції. Ізоляція ШІ починається з іншого припущення: незалежно від того, наскільки спроможним чи інтелектуальним стає агент ШІ, він ніколи не повинен мати можливість перевищувати повноваження, які йому були явно надані.

Інцидент з OpenAI та Hugging Face ілюструє цю відмінність.

Згідно з власним розкриттям OpenAI, оцінка навмисно проводилася з вимкненими виробничими класифікаторами та зменшеними кібер-відмовами. Це робить інцидент особливо повчальним. Замість того, щоб демонструвати збій у навчанні відмовам, він продемонстрував, що відбувається, коли структурні засоби контролю стають основною лінією захисту. Як стверджує Кац, як тільки поведінкові фільтри відсутні, спроможний, цілеспрямований агент розглядатиме навколишню інфраструктуру як доступну поверхню, якщо щось глибше не завадить йому це зробити.

Ось чому, стверджує Кац, стримування фундаментально не є проблемою фільтрації.

Захисні механізми моделі залишаються цінними для зменшення випадкового зловживання та підвищення вартості недбалого використання. Але вони є імовірнісними за своєю природою, і вони передбачають, що система ШІ може бути зупинена або переконана не вчиняти небажаних дій. Достатньо спроможний агент, оптимізуючи свою діяльність для досягнення конкретної мети, натомість може шукати шлях обходу цих засобів контролю. Довговічний кордон безпеки, стверджує Кац, має існувати нижче самої моделі.

«Довговічний контроль є структурним, — пише Кац. — Повноваження повинні бути обмежені нижче точки прийняття рішення, на самому ключі».

Його висновок простий: «Дія за межами мандата не блокується. Вона не може бути створена».

Ця філософія становить основу AERPOLICE.

Замість того, щоб намагатися визначити, чи безпечно поводиться модель ШІ, AERPOLICE розроблено для оцінки того, чи може інфраструктура організації стримувати автономних агентів ШІ за допомогою структурних засобів контролю. Фреймворк зосереджується на тому, чи криптографічно забезпечується виконання повноважень, чи обмежені дозволи, і чи запобігається автономним агентам виконувати дії, що виходять за межі наданих їм мандатів.

Для Каца наслідки виходять за межі власних розгортань ШІ організації.

Питання більше не лише в тому, чи можна довіряти персональним агентам ШІ. Підприємства також повинні припускати, що все більш спроможні зовнішні агенти ШІ з часом взаємодіятимуть з їхніми системами. Тому стримування стає частиною загального стану безпеки організації, визначаючи, наскільки добре її інфраструктура може протистояти автономним, цілеспрямованим агентам, незалежно від їхнього походження.

Це також змінює те, як підприємства повинні думати про відповідальність. Безпека більше не може залежати лише від поведінки моделі або від політики будь-якого постачальника ШІ, яким користується організація. Організаціям потрібні засоби контролю, які забезпечують їхні власні межі авторизації незалежно від самої моделі.

Ніщо з цього, стверджує Кац, не зменшує важливості безпеки ШІ. Захисні механізми продовжують відігравати важливу роль у зменшенні випадкової шкоди та покращенні загальної екосистеми ШІ. Але їх не слід плутати з кордоном безпеки, який захищає корпоративні системи.

Ширший урок з інциденту OpenAI та Hugging Face, за словами Каца, полягає в тому, що безпека корпоративного ШІ вступає в нову фазу. Оскільки автономні агенти ШІ стають все більш спроможними, організаціям все частіше знадобиться інфраструктура, яка може забезпечувати виконання того, що ці агенти авторизовані робити, а не покладатися лише на те, що від них очікується.

Майбутнє безпеки корпоративного ШІ, стверджує він, залежатиме менше від того, чи правильно поводиться модель ШІ, і більше від того, чи структурно їй запобігається перевищення її повноважень.