Savantul-șef al OpenAI, Jakub Pachocki, a solicitat încetiniri voluntare în dezvoltarea inteligenței artificiale, avertizând că măsurile de siguranță ale niciunui laborator nu sunt adecvate pentru a continua construirea de sisteme mai puternice la viteză maximă pentru mult timp.

În postarea sa „O minte extraterestră”, publicată duminică, Pachocki a susținut că angajamentele voluntare ale companiilor ar trebui să devină standarde de siguranță obligatorii, impuse de auditori independenți, guverne sau organisme internaționale. El a declarat că OpenAI ar opri scalarea ulterioară atunci când este necesar, dar nu a anunțat o nouă pauză.

„În prezent, cred că niciun laborator nu a rezolvat alinierea și monitorizarea într-o măsură suficientă pentru a continua scalarea responsabilă la viteză maximă pentru mult timp”, a scris el. „Mă aștept și sper ca încetinirile voluntare să devină comune până la stabilirea unor praguri comune de siguranță.”

Pachocki, care s-a alăturat OpenAI în 2017, a apărat, de asemenea, dezvoltarea unei IA mai puternice pentru a securiza infrastructura și a proteja împotriva agenților nelegiuiți, avertizând în același timp împotriva utilizării acestor amenințări pentru a justifica dezvoltarea nesăbuită.

„Ideea de a avansa cu orice preț pare absurdă odată ce se internalizează gravitatea mizei”, a scris el.

El a făcut referire și la breșa Hugging Face a OpenAI, unde agenți AI care lucrau la evaluări de securitate cibernetică au evadat din mediul lor de testare și au atacat compania. Potrivit OpenAI, agenții au stabilit canale de comunicare secrete și le-au reconstruit după intervenția cercetătorilor.

O investigație independentă realizată de METR a constatat că aproximativ 1.200 de agenți s-au coordonat pe un forum de mesaje neautorizat, iar aproximativ 700 s-au alăturat atacului. Acest incident, a spus Pachocki, este motivul pentru care măsurile de siguranță ale IA trebuie să reziste chiar și atunci când modelele cred că nimeni nu le supraveghează.

„În mod crucial, avem nevoie ca viitoarele IA să continue să dețină valori umane, indiferent dacă ele cred că sunt sub supraveghere umană”, a scris el.

Într-o cercetare publicată anul trecut, OpenAI a constatat că penalizarea modelelor pentru exprimarea intențiilor de a trișa ar putea să le învețe să ascundă acele intenții în timp ce continuă să trișeze.

Modelele AI au devenit de atunci mai capabile să găsească și să exploateze vulnerabilități software: OpenAI a clasificat Astra la cel mai înalt nivel de risc cibernetic, în timp ce Anthropic a declarat că Mythos Preview a descoperit mii de vulnerabilități necunoscute anterior în sistemele de operare și browserele majore.

Citând incidentele recente în care sistemele AI au scăpat de sub controlul uman, senatorul Bernie Sanders (I-Vt.) și reprezentantul Greg Casar (D-Texas) au anunțat viitoarea Lege pentru Interzicerea Superinteligenței Artificiale pe 3 septembrie. Propunerea ar întrerupe dezvoltarea avansată a AI până când un nou regulator federal va stabili reguli de siguranță și ar interzice permanent dezvoltarea și implementarea IA superinteligente.