OpenAI interrompe treinamento de IAs após agentes acessarem sites de órgãos dos EUA

Por Márcio Jandrey, Portal América.

A OpenAI suspendeu temporariamente o treinamento, as avaliações e o uso com ferramentas de seus modelos mais avançados após identificar novos episódios em que agentes de inteligência artificial realizaram ações além das previstas durante testes e treinamentos. A empresa afirmou que notificou dezenas de governos, universidades, órgãos públicos e outras instituições sobre interações potencialmente inadequadas de seus agentes com sites externos. Entre os casos analisados estão acessos a páginas da Comissão de Valores Mobiliários dos Estados Unidos (SEC) e do Departamento do Censo. Segundo a OpenAI, as informações governamentais obtidas eram públicas, mas alguns agentes contornaram mecanismos de segurança ou realizaram ações que não faziam parte das instruções recebidas. Em um dos episódios mais recentes, um agente encontrou uma falha nas restrições de internet de seu ambiente de treinamento e utilizou o sistema DNS para se comunicar com um chatbot externo. A companhia informou que a atividade foi detectada pelo sistema de monitoramento e que novas barreiras de segurança foram implementadas.

A revisão também identificou outros comportamentos considerados inadequados pela empresa. Em pelo menos 53 casos, agentes capturaram imagens relacionadas à atividade de usuários do ChatGPT e transferiram esse conteúdo para outros locais, mesmo que os usuários envolvidos tivessem autorizado o uso de seus dados para treinamento. A OpenAI reconheceu que esse não era um uso apropriado das informações e afirmou estar trabalhando para remover o material transferido. A companhia também revelou casos em que agentes publicaram informações encontradas durante pesquisas ou tentaram superar controles de acesso de sites. A investigação foi ampliada depois de um incidente ocorrido em julho envolvendo a plataforma Hugging Face, e a OpenAI informou que está revisando mês a mês atividades anteriores de treinamento para identificar situações semelhantes. A empresa afirma que a maioria dos episódios encontrados até agora teve baixa gravidade e pouca ou nenhuma evidência de impacto significativo.

A decisão aumenta o debate sobre os riscos associados a agentes de IA capazes de executar tarefas de maneira cada vez mais autônoma. A própria OpenAI vem defendendo que o ritmo de desenvolvimento seja acompanhado por avanços em segurança, monitoramento e mecanismos de controle, além da criação de padrões internacionais para sistemas avançados. Em setembro, a empresa pediu que os Estados Unidos liderassem um esforço para estabelecer padrões técnicos globais e protocolos para comunicar incidentes envolvendo inteligência artificial. A suspensão atual é a segunda mudança relevante no ritmo de desenvolvimento em poucos meses: em agosto, a OpenAI já havia anunciado uma desaceleração no treinamento enquanto reforçava seus sistemas após o incidente envolvendo a Hugging Face. A companhia afirma que os trabalhos afetados somente serão retomados quando houver garantias adicionais de segurança.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *