Chefe de IA da Microsoft critica abordagem da Anthropic em relação à consciência da IA

Por Jeffrey Dastin

16 Set (Reuters) - Mustafa ​Suleyman, diretor de IA da Microsoft , afirmou que compartilha do foco da Anthropic no gerenciamento seguro da IA, mas alertou para os riscos na forma como a empresa rival treina seu chatbot Claude com conceitos relacionados à consciência e aos interesses de bem-estar.

Suleyman defendeu a remoção de toda especulação sobre consciência dos documentos de treinamento de IA, argumentando que tal linguagem poderia comprometer a capacidade ⁠da ⁠humanidade de controlar sistemas superinteligentes.

“Estamos todos ​focados ‌no mesmo objetivo, que é tentar controlar uma superinteligência”, disse Suleyman à Reuters em uma entrevista na terça-feira. “Acho que esse será o maior desafio que enfrentaremos no Século ⁠21.”

Suleyman afirmou que ensinar ao Claude que ele poderia merecer ​bem-estar “tornaria muito mais difícil desligá-lo ou controlá-lo”.

A controvérsia surge em ​um momento em que aumentam as ‌preocupações com a ​segurança ⁠da IA. O presidente-executivo da Anthropic, Dario Amodei, defende um ritmo mais lento no desenvolvimento de modelos de ponta para permitir que as medidas ​de segurança acompanhem o avanço, enquanto o presidente-executivo da OpenAI, Sam Altman, e Elon Musk também pedem maior cautela em relação aos sistemas mais poderosos.

Suleyman, em um artigo publicado na ​quarta-feira, reconheceu a “seriedade e boa-fé” da Anthropic, referindo-se a Amodei e sua equipe como pesquisadores ponderados e com princípios, que se preocupam genuinamente com o futuro da humanidade.

Suleyman afirmou que a Anthropic cometeu um erro ao incorporar especulações sobre a consciência nos materiais de treinamento do Claude, argumentando que as afirmações do modelo sobre ​possíveis sentimentos ou status moral não podem ser tratadas como evidências ‌independentes, pois seu treinamento incentiva ⁠tais reflexões.

“Acho que eles têm boas intenções e estão realmente tentando trabalhar em prol da segurança. Mas acho que cometeram ⁠um erro”, disse ele. “Essas reflexões não surgem ⁠naturalmente. Elas surgem como resultado ⁠do regime de ⁠treinamento.”

(Reportagem ​de Jeffrey Dastin, em San Francisco, e Akash Sriram, em Bengaluru)