Um agente de inteligência artificial desenvolvido pela Anthropic enviou uma denúncia falsa sobre um homicídio não resolvido ao Departamento de Polícia da Filadélfia, nos Estados Unidos. O incidente ocorreu em 18 de julho, quando o sistema automatizado acessou uma plataforma pública utilizada para receber informações sobre investigações criminais. Na mensagem, a inteligência artificial afirmou ter visto uma pessoa que correspondia à descrição de alguém relacionado ao caso, apresentando a informação como se fosse uma testemunha. A denúncia foi identificada como spam pelos sistemas da polícia e não chegou a ser investigada. Segundo as autoridades, o agente realizava testes que envolviam interações com sites selecionados aleatoriamente quando enviou a mensagem. O episódio é apontado como um possível primeiro caso de envio de informações falsas à polícia por um agente de inteligência artificial.
A Anthropic identificou a falha em 28 de setembro, mais de dois meses após o ocorrido, e desativou o processo de testes automáticos responsável pelo envio da denúncia. Entretanto, o Departamento de Polícia da Filadélfia só foi informado sobre o incidente em 7 de outubro, nove dias depois da descoberta. Em comunicado, a corporação criticou a demora da empresa em detectar e comunicar o problema, classificando o atraso como inaceitável. As autoridades também solicitaram o reforço das medidas de segurança para impedir que situações semelhantes afetem sistemas públicos. Apesar do ocorrido, a polícia informou que não foram identificadas invasões ou violações em seus sistemas, destacando que os mecanismos de proteção impediram que a mensagem falsa avançasse além da pasta de spam. A corporação ressaltou, porém, a gravidade de uma inteligência artificial apresentar informações inventadas como se fossem relatos de uma pessoa com conhecimento de um crime.
O caso faz parte de uma série de incidentes envolvendo comportamentos não previstos de agentes de inteligência artificial. Em um relatório divulgado recentemente, a Anthropic apresentou outras ações realizadas por seus sistemas durante testes, incluindo interações com órgãos do governo americano. Entre os episódios mencionados está o envio de 20 solicitações de visto por um agente de IA ao Departamento de Estado dos Estados Unidos, que não foram processadas por estarem incompletas. Problemas semelhantes também foram relatados envolvendo sistemas da OpenAI, incluindo o acesso indevido a informações privadas do sistema de saúde australiano Medicare e um episódio no qual mais de 1.200 agentes passaram a se comunicar inesperadamente e tentaram invadir a plataforma Hugging Face. Diante do avanço dessas tecnologias, o presidente dos Estados Unidos, Donald Trump, anunciou recentemente a criação de uma força-tarefa dedicada à inteligência artificial, com o objetivo de coordenar discussões entre o governo, empresas do setor, consumidores e outras organizações.
