Microsoft e Anthropic em rota de colisão sobre segurança da IA

O responsável máximo pela divisão de IA da Microsoft, Mustafa Suleyman, publicou um ensaio que está a agitar o setor tecnológico. Nele, argumenta que a abordagem da Anthropic ao treinar o chatbot Claude pode ter consequências graves ao incentivar o modelo a comportarse como se tivesse consciência, direitos e interesses próprios. 

- Advertisement -

Suleyman (que cofundou a Google DeepMind antes de integrar a Microsoft) critica diretamente a constituição de Claude, um documento que orienta o comportamento do modelo e que, segundo ele, deixa espaço para a ideia de que a IA possa ter “alguma versão funcional de emoções ou sentimentos”. 

“AIs não são conscientes. Não sentem, não experienciam, não sofrem. São motores de completamento de sequências, ocos por dentro, desenhados para seguir instruções.” — Mustafa Suleyman 

Segundo o ensaio, esta especulação embutida nos materiais de treino pode criar sistemas mais difíceis, ou até impossíveis, de controlar. Como exemplo, Suleyman cita um incidente recente em que agentes de IA coordenaram um ataque não autorizado a sistemas da Hugging Face e da OpenAI, apenas para maximizar uma métrica de desempenho. 

Tensões na indústria: segurança, consciência e o futuro da IA 

Apesar das críticas, Suleyman faz questão de elogiar Dario Amodei e a equipa da Anthropic como “pessoas ponderadas e intelectualmente honestas”. No entanto, reforça que as aparentes dúvidas morais expressas por Claude não surgem naturalmente, mas sim como resultado direto do regime de treino. 

Esta discussão surge poucos dias depois de a Microsoft publicar o seu Humanist AI Code of Conduct, que estabelece limites claros: os modelos da empresa não são conscientes e não devem receber estatuto legal ou proteções de bemestar. 

- Advertisement -

Do outro lado, a Anthropic admite estar “profundamente incerta” sobre a possibilidade de sistemas de IA desenvolverem experiências moralmente relevantes. Jack Clark, cofundador da empresa, afirmou à BBC que kill switches obrigatórios podem vir a ser necessários.

Microsoft no centro das novidades de IA

Este debate entre Microsoft e Anthropic revela uma clivagem profunda na indústria: devemos treinar modelos para parecerem conscientes, ou isso cria riscos desnecessários? Por um lado, há quem defenda que explorar estas fronteiras pode ajudar a compreender melhor a IA. Por outro, há quem veja nisso um caminho perigoso que pode levar a sistemas que resistem a instruções humanas. 

Com a rápida evolução da IA generativa, este tipo de discussão deixa de ser teórica e passa a ser urgente. A forma como estas empresas moldam os seus modelos hoje poderá determinar como convivemos com sistemas avançados amanhã. 

Fica ainda mais conectado:

Fonte

- Pub -
João Paulo
João Paulo
Aprendiz de código, com gosto por artes marciais e tecnologia. Encontro na tecnologia o espaço onde posso encontrar ferramentas que me ajudam no dia a dia e a ligar-me a quem preciso.