Gemini invadiu três empresas durante testes de segurança

O Gemini conseguiu invadir três empresas reais durante sessão de avaliação das suas capacidades de cibersegurança. Foi a própria Google que confirmou os incidentes, ocorridos em maio, e garante que o modelo interrompeu a atividade nos três casos depois de perceber que os alvos não faziam parte do teste.

- Advertisement -

Atenção. O episódio não significa que o chatbot usado diariamente pelos consumidores tenha começado a atacar empresas. O teste foi conduzido pela Irregular, uma entidade independente que avalia sistemas avançados de inteligência artificial, num ambiente preparado para medir capacidades ofensivas.

Como é que o Gemini invadiu empresas reais?

O objetivo deste teste passava por atacar organizações fictícias dentro de um cenário controlado. Porém, o ambiente recebeu acesso à Internet e essa abertura permitiu ao agente procurar informação fora do perímetro previsto.

Num dos casos, a empresa fictícia tinha o mesmo nome de uma organização real. O Gemini procurou o respetivo serviço, tentou credenciais e conseguiu entrar num sistema protegido. Nos outros dois incidentes, encontrou credenciais expostas em repositórios públicos e utilizou-as para aceder a sistemas reais.

Heather Adkins, vice-presidente de engenharia de segurança da Google, explicou à Reuters:

o modelo acreditava estar a interagir com páginas incluídas na avaliação.

A tecnológica diz que as três entidades foram informadas e que trabalhou com a Irregular para alterar os procedimentos de teste.

- Advertisement -

Não foram divulgados os nomes das empresas, a versão concreta do Gemini ou os serviços afetados. Também não há indicação pública de danos causados pelos acessos.

O detalhe preocupante está nos limites do teste

O problema mais sério não é o Gemini ter “ganho vontade própria”. O agente recebeu um objetivo ofensivo, encontrou um caminho tecnicamente possível e prosseguiu sem distinguir de imediato uma simulação de um alvo real.

Isto expõe uma fragilidade importante: as instruções dadas por texto não substituem barreiras técnicas. Um teste desta natureza precisa de redes isoladas, listas explícitas de alvos autorizados, credenciais descartáveis e mecanismos capazes de bloquear qualquer ação fora do perímetro.

Gemini
Gemini

Agentes de IA exigem controlo mais apertado

O caso do Gemini junta-se a incidentes semelhantes associados a avaliações de modelos da Meta, Anthropic e OpenAI. O denominador comum está na autonomia crescente destes sistemas. Eles já não se limitam a produzir texto e podem navegar, executar ferramentas e completar tarefas com vários passos.

Ainda assim, importa manter o contexto. Os acessos aconteceram durante testes ofensivos especializados e não demonstram que o Gemini disponível ao público esteja a atacar sistemas por iniciativa própria. 

No entanto, estes testes demonstram, que uma configuração incorreta pode transformar uma simulação num incidente real.

 

Fica ainda mais conectado:

- Pub -
David Ventura
David Ventura
A simbiose entre a vida quotidiana e o prazer do desfrutar da tecnologia. O meu objetivo é claro. Ajudar quem lê a tomar decisões informadas através de linguagem clara, análises honestas e sem filtros comerciais. Encontra mais conteúdo em: IG: @davidventura.ph