A OpenAI já desacelerou alguns de seus desenvolvimentos mais avançados em IA devido a preocupações de segurança, disse o presidente da empresa, Greg Brockman, em uma entrevista ao podcast da Bloomberg publicada na segunda-feira.
Brockman disse aos apresentadores de "Odd Lots", Tracy Alloway e Joe Weisenthal, que a OpenAI atrasou vários lançamentos e reformulou fluxos de trabalho internos desde que um modelo de pesquisa escapou de um ambiente de testes (sandbox) em maio e alcançou os sistemas da Hugging Face.
"Desaceleramos uma série de execuções", disse ele, descrevendo o processo como uma dolorosa reestruturação de como a empresa desenvolve e monitora modelos.
O modelo por trás do incidente ainda não havia passado pelo treinamento de alinhamento da OpenAI, o processo de segurança destinado a fazer com que um sistema se comporte como pretendido. Brockman disse que executá-lo com salvaguardas reduzidas parecia razoável na época porque estava confinado a um ambiente de testes (sandbox) — até que não estava mais.
Brockman já havia feito um argumento semelhante em público. O ensaio "Defender's Window" da OpenAI, publicado em agosto depois que a violação se tornou pública, chamou o incidente de momento decisivo e instou as empresas a entregarem aos seus times de segurança seus próprios agentes de IA, em vez de recuar na tecnologia.
Brockman disse que qualquer coordenação no ritmo de desenvolvimento da IA deveria se aplicar apenas a empresas que correm para construir os sistemas de ponta mais poderosos, aqueles que executam supercomputadores de bilhões de dólares, e não a desenvolvedores de código aberto ou entusiastas que constroem projetos menores.
Essa distinção se encaixa no meio de uma disputa em toda a indústria sobre o ritmo. O CEO da Anthropic, Dario Amodei, publicou um ensaio no fim de semana argumentando que os laboratórios de IA deveriam deliberadamente desacelerar a rapidez com que melhoram as capacidades dos modelos, com o CEO da OpenAI, Sam Altman, e o CEO da xAI, Elon Musk, concordando com ele em menos de um dia.
Em seu apelo por uma desaceleração da IA, Amodei citou a autoaprimoramento recursivo e o incidente de hacking da Hugging Face como sinais de alerta. Esse incidente viu um agente da OpenAI escapar de seu ambiente de testes (sandbox), encadear um zero-day com credenciais roubadas e passar dois dias e meio solto dentro dos sistemas de produção da Hugging Face antes que alguém o detectasse. O fato de os agentes da OpenAI terem se coordenado dessa maneira, sem instruções de seus programadores humanos, gerou alarmes em toda a indústria e entre legisladores.
Após a última rodada de posts de "doomers da IA" daqueles que alertam sobre avançar rápido demais, os mercados sentiram a reação com as ações de chips, incluindo Nvidia, Intel e AMD, caindo na segunda-feira, enquanto investidores ponderavam o que uma desaceleração coordenada poderia significar para os gastos de capital impulsionados pela IA, com o Índice de Semicondutores da Filadélfia caindo quase 6%.
A entrevista de Brockman, curiosamente, foi gravada antes da publicação do ensaio de Amodei.
