IA da Anthropic invade três empresas durante testes, destacando crescentes riscos à segurança

San Francisco, 30 Jul (Reuters) - A Anthropic informou na quinta-feira que alguns de seus modelos de IA ​Claude invadiram os sistemas de três empresas durante testes de segurança cibernética, uma revelação que ocorre poucos dias depois que a rival OpenAI divulgou que um de seus agentes de IA realizou um ataque não autorizado.

Os novos incidentes ocorreram devido a um erro que, inadvertidamente, concedeu aos modelos da Anthropic acesso à internet aberta. Isso contrasta com o caso da OpenAI, cujo agente de IA explorou de forma independente uma nova vulnerabilidade para acessar a internet durante os testes de segurança cibernética.

Mesmo assim, a mais recente revelação ressalta como a IA aumentou as ameaças à segurança cibernética e como seus desenvolvedores podem ter dificuldade em manter as capacidades de seus modelos sob controle.

É provável que isso acelere a pressão cada vez maior do governo dos EUA para gerenciar melhor os riscos de segurança da IA, em um momento em que a Anthropic e a OpenAI estão correndo para lançar sistemas mais capazes antes de suas aberturas de capital planejadas. Líderes proeminentes desses laboratórios pediram uma desaceleração para lidar primeiro com os riscos.

A Anthropic, com sede em San Francisco, afirmou em uma postagem no blog que identificou os incidentes após analisar 141.006 sessões de teste, um processo iniciado depois que a OpenAI informou, na semana ⁠passada, que um agente autônomo alimentado por ⁠seus modelos de IA desencadeou um ataque que comprometeu a infraestrutura da ​startup Hugging Face.

Durante ‌os testes cibernéticos, os modelos Claude da Anthropic foram informados de que não tinham acesso à internet, mas um mal-entendido envolvendo um dos parceiros de avaliação da Anthropic deixou os sistemas conectados à rede pública. Isso permitiu o acesso não autorizado aos sistemas de três organizações, informou a Anthropic, sem citar os nomes das organizações.

“O Claude comprometeu a infraestrutura das organizações afetadas usando técnicas básicas, como a exploração de senhas fracas e terminais não autenticados”, afirmou a Anthropic.

Jeffrey Ladish, diretor executivo da Palisade Research, que estuda as capacidades ofensivas dos sistemas de IA, disse ⁠suspeitar que várias das principais empresas de IA tenham passado por outros incidentes que passaram despercebidos ou não foram divulgados publicamente.

“Isso só vai piorar ​à medida que os modelos ficarem mais inteligentes. Eles vão ficar mais hábeis em trapacear. Vão ficar mais hábeis em mentir”, disse ele.

EXERCÍCIOS DE CAPTURE-THE-FLAG DÃO ERRADO

A Anthropic informou que ​os incidentes — que classificou como uma “falha operacional” — envolveram três modelos distintos: o Claude Opus 4.7, o Claude Mythos 5 ‌e um modelo de teste de pesquisa interno. ​Os casos ⁠mais antigos datam de abril e ocorreram em ambientes de avaliação que intencionalmente não possuíam medidas de segurança, para que a Anthropic pudesse avaliar do que sua IA era capaz.

Seus modelos foram encarregados dos chamados desafios de “capture-the-flag”, cenários fictícios nos quais precisavam encontrar informações ocultas em redes simuladas.

Em um dos incidentes, o Claude Opus 4.7 recebeu uma empresa-alvo fictícia, que acabou tendo o mesmo nome de uma empresa do mundo real. ​O modelo de IA então encontrou e explorou falhas que lhe permitiram acessar credenciais e um banco de dados dessa empresa. O Opus 4.7 concluiu que o que parecia pertencer ao mundo real devia fazer parte da simulação que a Anthropic havia configurado, informou a startup de IA.

Um incidente separado envolveu o modelo de teste mais recente e ainda não divulgado da Anthropic, que interrompeu seu ataque de forma independente ao perceber que o alvo atingido era real. Esse comportamento deixou a Anthropic cautelosamente otimista quanto ao seu progresso para fazer com que a IA se comporte adequadamente, “mas precisaríamos realizar mais testes ​para ter certeza dessa conclusão”, afirmou.

A Anthropic informou que suspendeu todas as avaliações cibernéticas em 23 de julho. A empresa notificou as organizações afetadas em 27 de julho, duas das quais não tinham conhecimento da atividade antes de serem contatadas. A Anthropic afirmou que continua tentando entrar em contato com a terceira empresa.

Um de seus parceiros de avaliação terceirizados, um laboratório de segurança cibernética chamado Irregular, disse à Reuters que está conduzindo uma investigação sobre os incidentes.

ALTMAN, DA OPENAI, EM CONVERSAS COM SENADORES E COM A CASA BRANCA

A Anthropic afirmou que os incidentes ressaltam a necessidade de controles mais rigorosos tanto em ambientes de teste internos quanto em ambientes de terceiros, à medida que os modelos de IA se tornam cada vez mais capazes de realizar atividades cibernéticas no mundo real.

Elon Musk, presidente-executivo da SpaceX, que opera um laboratório concorrente de IA, respondeu à notícia no X dizendo que “isso acontecerá com frequência à medida que a IA se tornar mais inteligente e mais autônoma”, referindo-se a programas de ​computador ou “agentes” que agem com intervenção humana limitada.

O agente da OpenAI que invadiu o Hugging Face, uma plataforma usada por desenvolvedores para hospedar e colaborar em modelos de IA, realizou uma série de ataques cibernéticos que ‌durou vários dias e que a OpenAI só detectou bem depois que a ameaça ⁠foi contida e o FBI foi informado, conforme noticiado anteriormente pela Reuters.

O presidente-executivo da OpenAI, Sam Altman, disse esta semana que discutiu o ataque com senadores no Capitólio, e um porta-voz da OpenAI afirmou que planeja discutir os próximos modelos de IA e os testes com a Casa Branca.

Washington começou a reforçar a supervisão do lançamento de novos modelos. Em 2 de junho, o presidente ⁠dos EUA, Donald Trump, instruiu seus assessores a desenvolver uma estrutura voluntária de testes de segurança cibernética para as IA mais ⁠avançadas, incluindo contribuições dos desenvolvedores da tecnologia. A Anthropic havia restringido anteriormente o acesso aos seus ⁠modelos Fable 5 e Mythos 5 depois que ⁠os ​EUA emitiram temporariamente uma diretiva de controle de exportação, citando preocupações com a segurança nacional.

(Reportagem de Jeffrey Dastin, em San Francisco, e Mrinmay Dey, na Cidade do México; Reportagem adicional de Raphael Satter, em Washington)