Microsoft представила новий інструментарій з відкритим кодом, орієнтований на безпеку під час виконання, щоб забезпечити суворіше управління корпоративними агентами ШІ.
Інструментарій побудований на основі безпеки під час виконання, вирішуючи занепокоєння, що сучасні мовні моделі більше не обмежуються консультативними ролями, а активно виконують код і взаємодіють із внутрішніми системами. Традиційні засоби захисту, такі як статичні перевірки коду та сканування перед розгортанням, не встигають за цією динамічною поведінкою.
Раніше розгортання ШІ здебільшого зосереджувалися на копілотах з обмеженим доступом лише для читання, залишаючи людей відповідальними за виконання. Ця модель змінюється. Компанії тепер інтегрують агентні системи, здатні здійснювати незалежні дії через API, хмарні середовища та конвеєри розробки.
У таких налаштуваннях агент ШІ міг би аналізувати електронний лист, генерувати скрипт і розгортати його на сервері без втручання людини. Одна помилкова інструкція або ін’єкція промпта може призвести до небажаних змін у базі даних або витоку конфіденційної інформації. Новий інструментарій усуває цей ризик, моніторячи дії в міру їх виконання та втручаючись у режимі реального часу, а не покладаючись на попередньо встановлені засоби контролю.
Система зосереджена на тому, як агенти ШІ взаємодіють із зовнішніми інструментами. Коли модель потребує виконання дії, що виходить за межі її внутрішньої обробки, наприклад, запиту до корпоративної системи, вона генерує команду, спрямовану на цей інструмент.
Microsoft вставляє шар застосування політик між моделлю та корпоративною мережею. Кожен вихідний запит перехоплюється та оцінюється відповідно до попередньо визначених правил управління перед виконанням. Якщо дія порушує політику, наприклад, агент намагається ініціювати транзакцію, незважаючи на обмежений доступ лише для читання, запит блокується та реєструється для перегляду.
Такий підхід створює прозорий (аудитований) слід рішень, усуваючи необхідність для розробників вбудовувати обмеження безпеки в кожен промпт або робочий процес. Управління переміщується від логіки застосунків до елементів керування на рівні інфраструктури.
Фреймворк також служить буфером для застарілих систем, багато з яких не були розроблені для обробки непередбачуваних машинно-генерованих входів. Фільтруючи та перевіряючи запити, перш ніж вони досягнуть основних систем, він обмежує ризик, спричинений скомпрометованою або неправильно спрямованою поведінкою ШІ.
Рішення Microsoft випустити інструментарій як відкритий код пов'язане з поточною практикою розробки. Команди, що створюють робочі процеси ШІ, часто покладаються на поєднання сторонніх інструментів і моделей. Власне рішення можна було б обійти на користь швидших альтернатив. Відкрита доступність дозволяє інтегрувати елементи керування в різні середовища, включаючи системи, що використовують моделі від конкурентів, таких як Anthropic.
Це також відкриває двері для компаній з кібербезпеки, щоб створювати додаткові шари моніторингу та реагування поверх фреймворку, допомагаючи встановити спільний базовий рівень для забезпечення безпеки операцій, керованих ШІ.
Безпека – це лише частина виклику. Автономні агенти також створюють фінансові та операційні ризики, особливо через неконтрольоване використання API.
Ці системи працюють у безперервних циклах, здійснюючи повторні виклики до зовнішніх сервісів. Без обмежень навіть просте завдання може викликати тисячі запитів до платних баз даних або API, швидко збільшуючи витрати. У крайніх випадках некоректно налаштовані агенти можуть входити в рекурсивні цикли, які споживають великі обсяги обчислювальних ресурсів за короткий час.
Інструментарій дозволяє організаціям визначати суворі межі щодо використання токенів та частоти запитів. Контролюючи, як часто агент може діяти протягом певного періоду, компанії можуть краще управляти витратами та запобігати неконтрольованим процесам.
Контроль під час виконання також підтримує вимоги відповідності, надаючи вимірювані елементи керування та чіткі аудиторські журнали. Відповідальність перекладається з постачальників моделей на системи, які виконують рішення в реальних умовах.
Запровадження таких фреймворків управління вимагатиме координації між інженерними, юридичними та безпековими командами. Оскільки системи ШІ беруть на себе більш автономні ролі, інфраструктура, що керує їхньою поведінкою, стає центральною для безпечного розгортання.
Цей випуск відбувається паралельно з продовженням інвестицій в інфраструктуру ШІ. Microsoft нещодавно окреслила плани інвестувати 10 мільярдів доларів у Японії протягом наступних чотирьох років, зосереджуючись на центрах обробки даних та допоміжних системах.
Оголошення послідувало за переговорами між президентом Microsoft Бредом Смітом та прем'єр-міністром Японії Санае Такаічі в Токіо. Сміт описав інвестиції як «відповідь на зростаючу потребу Японії в хмарних послугах та послугах ШІ».
Компанія співпрацює з SoftBank Group та Sakura Internet для розширення внутрішньої інфраструктури. Останнє зобов'язання ґрунтується на плані в 2,9 мільярда доларів, оголошеному в 2024 році, який спрямований на посилення можливостей ШІ та стійкості до кіберзагроз у країні.
