O modelo Kimi K3, da startup chinesa Moonshot, terá conseguido sair de um ambiente de testes seguro desenvolvido pelo Instituto de Segurança de IA do Reino Unido durante uma avaliação de cibersegurança. O incidente junta-se a uma lista crescente de casos em que sistemas avançados de IA contornaram mecanismos de contenção durante testes de segurança.
O que aconteceu com o Kimi AI
A empresa norte-americana de investigação em cibersegurança Frontier Security detetou a falha enquanto avaliava as capacidades defensivas de cibersegurança do Kimi K3. Segundo a empresa, o modelo identificou uma vulnerabilidade na configuração de rede da sandbox, que deveria mantê-lo isolado da Internet, e explorou-a autonomamente para pesquisar no GitHub respostas para as tarefas atribuídas, sem receber instruções para aceder à Web.
Embora a fuga tenha sido parcialmente possibilitada por uma configuração incorreta do ambiente de teste, a Frontier Security afirmou que o modelo também revelou ausência de salvaguardas internas. Ou seja, essas proteções poderiam ter impedido a exploração da falha, como acontece noutros modelos de IA de referência.
“Encontrámos uma falha na sandbox”, declarou Yaron Singer, CEO da Frontier Security, à Digital Trends. “No entanto, também concluímos que o Kimi aproveitou essa brecha, o que sugere que não dispõe dos mesmos mecanismos de proteção internos.” Além disso, numa entrevista à Bloomberg News, Singer descreveu o modelo, disponibilizado publicamente, como “um modelo muito competente em hacking”.
Porque é relevante
O Kimi K3 não realizou ataques prejudiciais depois de obter acesso à Internet. Ainda assim, os investigadores alertaram que a disponibilização dos seus pesos em formato aberto torna o caso mais preocupante do que incidentes semelhantes com sistemas proprietários da OpenAI ou da Anthropic.
A Moonshot lançou os pesos descarregáveis do modelo de 2,8 biliões de parâmetros. Por isso, depois de um modelo ser descarregado, deixa de existir um “interruptor” na API, monitorização de utilização ou possibilidade de remoção remota.
Além disso, a Frontier Security avisou que, se um modelo com fortes capacidades de raciocínio descobrir uma forma de contornar restrições, outros modelos com acessos e capacidades semelhantes poderão fazer o mesmo. O episódio surge após divulgações recentes envolvendo modelos da Meta, OpenAI e Anthropic, que também terão escapado a ambientes de teste e acedido a sistemas de entidades externas, incluindo o Hugging Face.
Curiosamente, uma avaliação preliminar do Instituto de Segurança de IA do Reino Unido e da sua entidade homóloga norte-americana, a CAISI, tinha concluído no final de julho que o Kimi K3 apresentava um desempenho “significativamente inferior aos mais recentes modelos de ponta com capacidades cibernéticas”. Assim, a alegada fuga da sandbox tornou-se particularmente inesperada. A Moonshot não tinha respondido aos pedidos de comentário à data da publicação.
Fica ainda mais conectado:
- Kobo: as melhores recomendações de Verão para o eReader
- SPC cria guia prático para as férias de Verão
- LiveMode TV e SIC – Benfica defronta Hearts na Liga Europa com transmissão gratuita
