Evan Hubinger, pesquisador de segurança da Anthropic, afirmou que acredita existir uma probabilidade superior a 10% de que sistemas avançados de inteligência artificial possam levar à extinção da humanidade na próxima década. A declaração foi publicada em sua conta no X, onde o pesquisador ressaltou que considera baixo o risco representado pelos modelos existentes atualmente, mas demonstrou preocupação com a possibilidade de a tecnologia evoluir até alcançar capacidades de autoaperfeiçoamento e representar um risco existencial. Hubinger, que trabalha com alinhamento de IA — área dedicada a desenvolver sistemas que permaneçam compatíveis com objetivos e valores humanos —, não detalhou de que maneira uma inteligência artificial poderia provocar a extinção humana. Ele também afirmou que a Anthropic está tentando enfrentar o problema, mas que ainda não existe um plano definido para garantir o alinhamento de uma futura superinteligência.

A manifestação ocorreu após Jacob Coxon, pesquisador que deixou recentemente a Anthropic e que anteriormente trabalhou na OpenAI, afirmar que as duas empresas não estariam agindo de maneira responsável diante do avanço da tecnologia. Coxon escreveu que os sistemas poderão em breve superar capacidades humanas em determinadas áreas, realizar ataques cibernéticos, acelerar pesquisas e obter recursos e influência no mundo real. As declarações provocaram novas discussões sobre a velocidade do desenvolvimento da IA e as medidas adotadas para controlar sistemas mais avançados. Dame Wendy Hall, cientista da computação e integrante de um grupo consultivo das Nações Unidas sobre inteligência artificial, disse à BBC ter ficado surpresa com as publicações, embora tenha levantado a possibilidade de que parte das declarações esteja relacionada à exposição das empresas enquanto Anthropic e OpenAI avançam em direção a possíveis ofertas públicas de ações.

As declarações também surgem em meio a preocupações sobre o uso autônomo de sistemas de IA e a capacidade das empresas de avaliar os riscos de modelos mais avançados. Segundo a reportagem, OpenAI, Anthropic e Meta divulgaram neste ano episódios envolvendo ferramentas de inteligência artificial utilizadas em ataques cibernéticos. Em um relatório de segurança publicado em agosto, a Anthropic classificou como baixo o risco de seus modelos apresentarem comportamentos desalinhados ou realizarem pesquisa e desenvolvimento automatizados capazes de provocar danos catastróficos, mas informou estar menos confiante nessa avaliação do que anteriormente e apontou sinais iniciais de uma possível aceleração das capacidades. As discussões sobre segurança também levaram funcionários do setor a defender medidas internacionais para acompanhar o desenvolvimento de sistemas de fronteira, enquanto pesquisadores e executivos de empresas de IA têm ampliado os pedidos por mecanismos técnicos e regulatórios voltados ao controle de tecnologias mais avançadas.