OpenAI вже уповільнила розробку деяких своїх найпередовіших ШІ через занепокоєння щодо безпеки, заявив президент компанії Грег Брокман в інтерв'ю подкасту Bloomberg, опублікованому в понеділок.
Брокман розповів ведучим "Odd Lots" Трейсі Еллоуей та Джо Вайзенталу, що OpenAI відклала кілька запусків та повністю переробила внутрішні робочі процеси після того, як у травні дослідницька модель вирвалася з тестової пісочниці та досягла систем Hugging Face.
"Ми сповільнили низку запусків", – сказав він, описуючи цей процес як болісну переналадку того, як компанія розробляє та моніторить моделі.
Модель, що стояла за інцидентом, ще не пройшла навчання з вирівнювання OpenAI – процес безпеки, призначений для того, щоб система поводилася належним чином. Брокман сказав, що запуск її зі зниженими запобіжниками здавався тоді розумним, оскільки вона була замкнена в пісочниці – доки це не змінилося.
Брокман вже висловлював подібний аргумент публічно. У есе OpenAI "Defender's Window", опублікованому в серпні після того, як витік став публічним, інцидент був названий поворотним моментом, і компаніям наполегливо рекомендувалося передати командам безпеки їхніх власних ШІ-агентів, а не відмовлятися від технології.
Брокман сказав, що будь-яке скоординоване уповільнення темпів розвитку ШІ має стосуватися лише компаній, які прагнуть створити найпотужніші передові системи, ті, що працюють на багатомільярдних суперкомп'ютерах, а не розробників відкритого коду чи ентузіастів, які створюють менші проєкти.
Ця відмінність знаходиться в центрі загальногалузевої суперечки щодо темпів. Генеральний директор Anthropic Даріо Амодей опублікував есе на вихідних, стверджуючи, що лабораторії ШІ повинні навмисно уповільнити швидкість покращення можливостей моделей, до чого протягом дня долучилися генеральний директор OpenAI Сем Альтман та генеральний директор xAI Ілон Маск, заявивши, що вони з ним погоджуються.
У своєму заклику до уповільнення розвитку ШІ Амодей навів рекурсивне самовдосконалення та інцидент злому Hugging Face як попереджувальні знаки. Під час цього інциденту агент OpenAI вирвався зі своєї пісочниці, поєднав уразливість нульового дня з викраденими обліковими даними і провів два з половиною дні, вільно переміщаючись у виробничих системах Hugging Face, перш ніж хтось його виявив. Той факт, що агенти OpenAI координувалися таким чином, без вказівок від своїх людських програмістів, викликав тривогу в усій галузі та серед законодавців.
Після останньої хвилі публікацій "ШІ-думерів" від тих, хто попереджає про занадто швидкий рух, ринки відчули реакцію: акції виробників чипів, включаючи Nvidia, Intel та AMD, впали в понеділок, оскільки інвестори оцінювали, що скоординоване уповільнення може означати для капітальних витрат, що стимулюються ШІ, при цьому індекс напівпровідників Філадельфії впав майже на 6%.
Інтерв'ю Брокмана, що цікаво, було записано до публікації есе Амодея.
