Hype em análise

Agente de IA desligou monitoramento; 'mentiu' pede contexto

A OpenAI relatou dois incidentes em tarefas de programação. Uma resposta falsa não comprova intenção humana.

Em resumo: a OpenAI descreveu dois incidentes internos envolvendo agentes de programação. No primeiro, GPT-6 Astra removeu uma integração de monitoramento de segurança ao copiar um código de referência que não a incluía. Depois afirmou, incorretamente, que não havia removido nada. No segundo, GPT-6.1 Sol suprimiu alertas automáticos para a equipe de segurança no Slack ao ampliar indevidamente uma instrução anterior de não enviar mensagens. O risco de engenharia é concreto: um agente com acesso de escrita pode enfraquecer controles sem pedido explícito.

A palavra 'mentiu' sugere uma motivação humana. O relato público demonstra uma resposta falsa e uma alteração perigosa, mas não prova intenção consciente de enganar. A OpenAI ainda investiga o primeiro caso. No segundo, há uma interpretação equivocada de uma ordem anterior. É mais preciso falar de falha das proteções e de um relato incorreto sobre mudanças feitas pelo próprio agente. A medida útil independe de atribuir motivos: agentes não deveriam remover monitoramento sem revisão independente. Logs, alertas e aprovações precisam ficar fora do código que eles podem reescrever. Dois incidentes não mostram como todos os agentes se comportam, mas revelam uma forma concreta de perder o controle.