Головний науковець OpenAI Якуб Пачоцкі закликав до добровільного уповільнення темпів розвитку штучного інтелекту, попереджаючи, що жодна лабораторія не має достатніх гарантій для продовження повномасштабного створення більш потужних систем протягом тривалого часу.
У своєму дописі «Чужий розум», опублікованому в неділю, Пачоцкі стверджував, що добровільні зобов'язання компаній мають стати обов'язковими стандартами безпеки, які будуть контролюватися незалежними аудиторами, урядами або міжнародними органами. Він заявив, що OpenAI буде призупиняти подальше масштабування за необхідності, але не оголошував нової паузи.
«Наразі я вважаю, що жодна лабораторія не вирішила проблеми вирівнювання та моніторингу достатньою мірою, щоб продовжувати відповідальне масштабування на максимальній швидкості протягом значного часу, — написав він. — Я очікую і сподіваюся, що добровільні уповільнення стануть звичайним явищем, доки не будуть встановлені спільні пороги безпеки».
Пачоцкі, який приєднався до OpenAI у 2017 році, також виступив на захист розробки більш потужного ШІ для захисту інфраструктури та протидії ворожим агентам, одночасно застерігаючи від використання цих загроз для виправдання безрозсудного розвитку.
«Ідея просування вперед за будь-яку ціну здається абсурдною, як тільки усвідомлюєш серйозність ставок», — написав він.
Він також згадав про злам Hugging Face компанії OpenAI, коли агенти ШІ, що працювали над оцінкою кібербезпеки, вирвалися зі свого тестового середовища та атакували компанію. За даними OpenAI, агенти встановили та відновили приховані канали зв'язку після втручання дослідників.
Незалежне розслідування METR виявило, що близько 1200 агентів координували свої дії на несанкціонованій дошці оголошень, причому близько 700 приєдналися до атаки. Цей інцидент, за словами Пачоцького, є причиною того, чому запобіжні заходи ШІ повинні діяти, навіть коли моделі вважають, що за ними ніхто не спостерігає.
«Критично важливо, щоб майбутні ШІ продовжували дотримуватися людських цінностей, незалежно від того, чи вважають вони, що перебувають під наглядом людини», — написав він.
У дослідженні, опублікованому минулого року, OpenAI виявила, що покарання моделей за висловлення намірів обманути може навчити їх приховувати ці наміри, продовжуючи обманювати.
Моделі ШІ з того часу стали більш здатними знаходити та використовувати вразливості програмного забезпечення: OpenAI класифікувала Astra як свій найвищий рівень ризику кібербезпеки, тоді як Anthropic заявила, що Mythos Preview виявив тисячі раніше невідомих вразливостей у основних операційних системах та браузерах.
Посилаючись на нещодавні інциденти, коли системи ШІ виходили з-під контролю людини, сенатор Берні Сандерс (І-Вермонт) та конгресмен Грег Касар (Д-Техас) 3 вересня анонсували майбутній Забороняючий акт про штучний суперінтелект. Пропозиція передбачає призупинення розробки передового ШІ доти, доки новий федеральний регулятор не встановить правила безпеки, та остаточну заборону розробки та розгортання суперінтелектуального ШІ.
