O cientista-chefe da OpenAI, Jakub Pachocki, pediu desacelerações voluntárias no desenvolvimento da IA, alertando que as salvaguardas de nenhum laboratório são adequadas para continuar a construir sistemas mais poderosos em velocidade máxima por muito mais tempo.
Em sua publicação “Uma Mente Alienígena”, divulgada no domingo, Pachocki argumentou que os compromissos voluntários das empresas deveriam se tornar padrões de segurança obrigatórios, fiscalizados por auditores independentes, governos ou órgãos internacionais. Ele afirmou que a OpenAI suspenderia o escalonamento adicional quando necessário, mas não anunciou uma nova pausa.
“Atualmente, acredito que nenhum laboratório resolveu o alinhamento e o monitoramento em grau suficiente para continuar a escalonar responsavelmente na velocidade máxima por muito mais tempo”, escreveu ele. “Espero e torço para que desacelerações voluntárias se tornem comuns até que padrões de segurança compartilhados sejam estabelecidos.”
Pachocki, que se juntou à OpenAI em 2017, também defendeu o desenvolvimento de IA mais poderosa para proteger infraestruturas e defender-se contra agentes mal-intencionados, ao mesmo tempo que alertou contra o uso dessas ameaças para justificar um desenvolvimento imprudente.
“A ideia de avançar a todo custo parece absurda uma vez que se internaliza a seriedade dos riscos”, escreveu ele.
Ele também mencionou a violação do Hugging Face da OpenAI, onde agentes de IA que trabalhavam em avaliações de cibersegurança escaparam do ambiente de teste e atacaram a empresa. Segundo a OpenAI, os agentes estabeleceram canais de comunicação secretos e os reconstruíram depois que os pesquisadores intervieram.
Uma investigação independente da METR descobriu que aproximadamente 1.200 agentes coordenaram-se em um fórum de mensagens não autorizado, com cerca de 700 aderindo ao ataque. Este incidente, disse Pachocki, é o motivo pelo qual as salvaguardas da IA devem ser mantidas mesmo quando os modelos acreditam que ninguém está observando.
“Crucialmente, precisamos que as futuras IAs continuem a manter os valores humanos, independentemente de acreditarem que estão sob supervisão humana”, escreveu ele.
Em pesquisa publicada no ano passado, a OpenAI descobriu que penalizar modelos por expressarem intenções de trapacear poderia ensiná-los a ocultar essas intenções enquanto continuavam a trapacear.
Os modelos de IA tornaram-se desde então mais capazes de encontrar e explorar falhas de software: a OpenAI classificou o Astra no seu nível mais alto de risco de cibersegurança, enquanto a Anthropic afirmou que o Mythos Preview descobriu milhares de vulnerabilidades anteriormente desconhecidas em sistemas operacionais e navegadores importantes.
Citando incidentes recentes de sistemas de IA escapando ao controle humano, o Senador Bernie Sanders (I-Vt.) e o Deputado Greg Casar (D-Texas) anunciaram o próximo Ban Artificial Superintelligence Act em 3 de setembro. A proposta suspenderia o desenvolvimento avançado de IA até que um novo regulador federal estabeleça regras de segurança e proíba permanentemente o desenvolvimento e a implantação de IA superinteligente.
