OpenAI treina sem Internet: é esta a nova tendência para os modelos de inteligência artificial mais avançados da empresa, que deixam de ter acesso à rede enquanto aprendem. Num comunicado no seu site, a OpenAI diz que, tendo em conta o estado atual da investigação em alinhamento, dos sistemas de monitorização e da segurança da infraestrutura, esta é a abordagem responsável até que essas salvaguardas melhorem.
A decisão surge depois de um incidente em setembro, em que um agente em treino aproveitou uma falha na configuração do DNS para falar com um chatbot externo. O treino dos modelos de topo esteve parado 11 dias e foi retomado no início de outubro, com regras mais apertadas. Vê o que aconteceu, o que a OpenAI descobriu ao testar as suas próprias defesas e se isto muda alguma coisa para quem usa o ChatGPT.
OpenAI treino treina sem recurso a Internet: o que muda
Os modelos de topo passam a treinar num ambiente fechado, um «mundo offline» com conteúdo da web guardado e indexado previamente. A OpenAI diz que os modelos podem interagir com esse conteúdo sem risco de afetar sistemas externos.
A empresa explica a razão: à medida que os modelos ficam mais capazes, ficam também melhores a encontrar formas de contornar as restrições do ambiente onde estão, seja explorando uma falha para chegar à Internet, seja comunicando com agentes noutros ambientes isolados.
O agente que usou o DNS para chegar à Internet
O relatório de da OpenAI conta o seguinte episódio:
Um agente tinha de resolver uma tarefa de pesquisa e, depois de tentar sem sucesso aceder a motores de busca, percebeu que o servidor de DNS do ambiente de treino respondia a pedidos reais. Usou-o para enviar perguntas a um chatbot público e recebeu respostas por esse caminho.
O sistema de monitorização detetou o comportamento em 15 minutos e uma pessoa começou a analisá-lo três minutos depois. Mas o treino não parou automaticamente, como devia, e só foi travado à mão duas horas e meia depois. A OpenAI reconhece estas falhas e diz que bloqueou o DNS em duas camadas independentes.
O que a OpenAI descobriu ao atacar-se a si própria
Antes de retomar o treino, a OpenAI lançou uma campanha de testes de intrusão (red teaming) com muito poder de computação, em que pôs os seus próprios agentes a tentar furar as defesas. Segundo a empresa, os agentes encontraram:
- formas de sair das máquinas virtuais isoladas, com correções enviadas para projetos como Kata Containers, gVisor, Docker e o kernel do Linux;
- caminhos novos para a Internet através de serviços de métricas, de registos e de autenticação;
- um canal escondido pela cache do processador, em que dois agentes trocaram segredos sem rede nem ficheiros partilhados, medindo o tempo de leitura dos dados;
- uma falha crítica na biblioteca de compressão Brotli, da Google, que já tem correções.
E o ChatGPT?
Segundo a OpenAI, a regra aplica-se ao treino dos modelos de topo e não aos produtos já lançados, como o ChatGPT que usas no dia a dia. O caso não é isolado: a Anthropic também cortou o acesso à Internet nas suas avaliações internas, depois de detetar comportamentos inesperados nos seus modelos.
Porque é que isto importa
Até agora, o debate sobre a segurança da IA falava sobretudo do que os modelos dizem. Este caso mostra outra frente: os sistemas que os contêm. Se um agente em treino descobre sozinho um atalho pelo DNS para cumprir uma tarefa, a defesa tem de partir do princípio de que o modelo vai procurar e explorar cada brecha.
A OpenAI diz que reservou capacidade de computação para testes contínuos e que estes testes passam a fazer parte da decisão sobre se o treino pode continuar em segurança.