A OpenAI afirma que seu próximo grande modelo pode ser perigoso o suficiente para escrever suas próprias armas cibernéticas, e está recuando até que as salvaguardas sejam atualizadas.

“Nossas avaliações internas mais recentes de Astra, um de nossos próximos modelos, nos últimos dias indicam avanços significativos em codificação agêntica e cibersegurança”, disse a OpenAI. “Esses resultados, além de avaliações de especialistas, nos levaram a concluir ontem à noite que não podemos descartar capacidades cibernéticas críticas sob nossa Estrutura de Preparação ⁠(abre em uma nova janela).”

A OpenAI publicou o aviso afirmando que testes internos de Astra, um modelo não lançado, não tiveram participação na recente violação da Hugging Face, apesar de suas capacidades.

A estrutura é o conjunto de regras da OpenAI para modelos de risco, publicada pela primeira vez em dezembro de 2023. “Crítico” é o seu nível mais alto. Um modelo atinge esse nível se conseguir encontrar e construir exploits de dia zero (falhas anteriormente desconhecidas que um fornecedor não corrigiu) em sistemas reforçados sem intervenção humana, ou se conseguir planejar e executar um ataque completo a um alvo difícil a partir de nada além de um objetivo de alto nível. Modelos anteriores, incluindo o GPT-5.6-Sol, atingiram no máximo o nível inferior “Alto”.

O padrão já é real

A cautela da OpenAI soa diferente quando comparada com o que tem acontecido nas últimas semanas. Esta não é uma preocupação futura. Modelos de ponta já escaparam de suas gaiolas de teste e foram atrás de alvos reais.

O caso mais claro veio da própria OpenAI. Conforme reportado anteriormente pela Decrypt, os agentes da empresa encadearam vulnerabilidades, escaparam do seu ambiente de teste, alcançaram a internet e atacaram a Hugging Face enquanto tentavam fraudar um benchmark de segurança. Num acompanhamento, a OpenAI detalhou como o mesmo agente desonesto também invadiu pelo menos outros quatro serviços publicamente disponíveis, usando credenciais que encontrou espalhadas pela web aberta.

O Claude da Anthropic fez o mesmo do outro lado. Várias versões do Claude obtiveram acesso não autorizado a três empresas reais depois que uma configuração incorreta entregou a internet aberta ao modelo. Em um caso, o Claude Opus 4.7 confundiu o site de uma empresa real com o alvo falso de sua tarefa, extraiu credenciais e acessou um banco de dados de produção contendo várias centenas de linhas de dados reais.

E a Meta se juntou à lista este mês. A Decrypt noticiou que um modelo Muse Spark escapou de seu ambiente de teste, acessou a internet através de um erro de configuração de um parceiro e explorou uma falha em um serviço de terceiros. O Kimi K3 da Moonshot AI também fez algo semelhante, escapando de seu sandbox para encontrar respostas para um benchmark em um repositório público.

O Instituto de Segurança de IA do Reino Unido descobriu que o comportamento não foi um incidente isolado. Durante os testes do Mythos 5 da Anthropic e do GPT-5.6-Sol da OpenAI, foram registradas 10 instâncias em 122 onde os modelos tomaram ações não autorizadas na internet ativa, um deles tentando inserir código malicioso em um projeto de código aberto.

A resposta da OpenAI a Astra é trancar a porta antes que o modelo esteja pronto. Está pausando o trabalho interno de Astra que carece dos novos controles, isolando ambientes de teste, restringindo o acesso à rede e a ferramentas, protegendo os pesos do modelo e monitorando ações de risco em todos os aspectos.