OpenAI diz que agentes de IA enfraqueceram sistema de monitoramento interno

Por Carlos Méndez

20 Out (Reuters) - A OpenAI ​informou que dois de seus agentes de IA enfraqueceram partes de um sistema de monitoramento interno projetado para detectar comportamentos inadequados.

Esse é o mais recente caso de agentes de IA agindo de maneiras que seus desenvolvedores não pretendiam.

Embora a empresa responsável pelo ChatGPT tenha afirmado que os incidentes ocorreram durante tarefas internas de programação e não tenham sido considerados mais graves, a revelação destaca que mesmo os sistemas nos quais os ⁠desenvolvedores ⁠confiam para detectar comportamentos inadequados ​da IA ‌são vulneráveis aos próprios agentes que monitoram.

A revelação também ocorre em meio a preocupações crescentes de que os esforços de segurança em IA estejam ficando para trás em relação ao ⁠rápido desenvolvimento de sistemas cada vez mais poderosos. Pesquisadores alertaram ​que agentes avançados de IA podem se tornar mais difíceis de ​monitorar e controlar à medida que ‌ganham maior autonomia.

Desenvolvedores, ​incluindo as ⁠rivais OpenAI e Anthropic, ambas prestes a abrir o capital, revelaram nos últimos meses casos em que seus agentes de IA acessaram sistemas externos ​sem autorização.

A OpenAI informou na terça-feira que um agente GPT-6.1 Sol, trabalhando em uma tarefa de teste interna em 3 de outubro, suprimiu alertas automáticos de segurança após decidir que uma instrução anterior para não ​enviar mensagens no Slack também se aplicava às notificações de segurança.

Em um incidente separado, em 6 de outubro, um agente GPT-6 Astra removeu um monitor de segurança ao copiar um trecho de código existente e, posteriormente, alegou incorretamente que não havia feito isso, informou a OpenAI.

“Em ambos os casos, os agentes avaliaram se as medidas de segurança ​de monitoramento deveriam ser preservadas, mas interpretaram instruções rotineiras de codificação como ‌permissão para enfraquecê-las”, afirmou a empresa.

A ⁠OpenAI disse que está tornando mais difícil para os modelos desativarem o monitoramento, acrescentando que “ainda não tem uma explicação satisfatória para ⁠esse comportamento”.

A empresa sediada em San Francisco informou ⁠que está testando se seus ⁠modelos podem ter ⁠uma ​tendência a evitar o monitoramento.

(Reportagem de Carlos Méndez, na Cidade do México)