A Anthropic sugeriu que a empresa líder mundial em inteligência artificial desenvolvesse uma forma coordenada de interromper o desenvolvimento de sistemas avançados de IA, alertando que a tecnologia está a melhorar tão rapidamente que existe o risco de os humanos perderem o controlo.
A empresa por trás do chatbot Claude disse em um blog na quinta-feira que, à medida que a IA avançada se torna mais rápida nas tarefas, “é bom para o mundo ter a opção de desacelerar ou pausar” seu desenvolvimento.
A Anthropic disse que seu instituto de pesquisa interno planeja explorar a questão em colaboração com outros e “tomar medidas” para ajudar a construir sistemas para desacelerações ou pausas confiáveis, sem ser mais específico.
A rival antropogénica OpenAI defendeu uma abordagem diferente num relatório publicado na quarta-feira, dizendo que “os governos democráticos – e não as empresas privadas agindo sozinhas – devem definir regras, salvaguardas e mecanismos de responsabilização”.
“Nossa opinião é que as decisões sobre o ritmo da inovação em IA não devem ser deixadas a nenhum laboratório, empresa ou grupo de interesse especial”, disse ele.
Os modelos de IA estão ficando mais rápidos, com rápidos aumentos na rapidez com que podem executar tarefas de software, como a própria codificação, disse a Anthropic em seu comunicado. Com base nas tendências atuais e com poder computacional suficiente, os sistemas de IA podem projetar e desenvolver seus próprios sucessores, no que é conhecido como “autoaperfeiçoamento recursivo”.
A IA de autoconstrução será um grande avanço tecnológico que trará benefícios na ciência, na saúde e em outros campos, disse a Anthropic, mas “também pode aumentar o risco de os humanos perderem o controle sobre os sistemas de IA”.
Algumas figuras da indústria tecnológica há muito alertam para tal cenário.
O anúncio da Anthropic ocorre após um aviso diferente esta semana de uma equipe de pesquisadores da Universidade de Toronto mostrando como as ferramentas de IA poderiam ser usadas para criar novos tipos de “worms” de IA que adaptam suas estratégias de hacking à medida que se espalham de dispositivo para dispositivo e assumem o controle de vastas redes de computação.
“Acho que é muito importante que as pessoas entendam que não são apenas os maiores e mais poderosos modelos de linguagem que levantam preocupações de segurança”, disse o pesquisador-chefe Nicolas Papernot em entrevista.
Os autores do post Anthropic, o cofundador da empresa Jack Clark e Marina Favaro, chefe de seu instituto de pesquisa, disseram que a pausa seria usada para permitir que “a estrutura da comunidade e a pesquisa de alinhamento” acompanhassem o progresso da IA. Alinhamento é uma abreviatura da indústria para garantir que a tecnologia corresponda aos valores e intenções humanas.
A coordenação proposta permitiria que laboratórios avançados de IA verificassem se os rivais globais realmente pararam ou desaceleraram o seu trabalho, “e que os malfeitores não podem usar a sombra de uma desaceleração coordenada para avançar sub-repticiamente”.
A empresa disse que é necessário um mecanismo global coordenado porque, sem ele, uma desaceleração no desenvolvimento da IA poderia permitir que os intervenientes “menos cautelosos” o alcançassem e aumentar a pressão sobre empresas e governos à medida que tomam decisões difíceis sobre a segurança da IA.
As preocupações de que sistemas sofisticados de IA possam escapar ao controlo humano e causar danos sociais aumentaram à medida que a tecnologia se tornou mais capaz. O próprio modelo Mythos da Anthropic enviou ondas de choque através dos setores, incluindo bancos e software, no início deste ano com sua capacidade de encontrar vulnerabilidades em códigos existentes.
Mas a regulamentação tem sido lenta, especialmente nos EUA, onde está sediada a maioria dos principais laboratórios de IA. Uma ordem executiva da administração Trump no início desta semana colocou a responsabilidade sobre os próprios laboratórios, pedindo-lhes que submetessem voluntariamente os seus modelos mais capazes a testes de segurança cibernética do governo antes de os divulgarem ao público.
Foco na segurança
Os pesquisadores de IA também pediram uma parada antes, mas sem sucesso. Elon Musk, dono do laboratório de IA xAI, está entre os defensores de um esforço em 2023 do Future of Life Institute, sem fins lucrativos, para interromper o desenvolvimento de IA por seis meses para dar tempo para cercas de segurança.
A Anthropic há muito se posiciona como um laboratório de IA focado em segurança. No início deste ano, recusou-se a permitir que os militares dos EUA utilizassem os seus modelos de vigilância doméstica e armas totalmente autónomas, provocando uma reacção negativa do governo, que o colocou numa lista negra de segurança nacional, que entrará em vigor no final de 2026.
A postagem da Anthropic ocorre no momento em que a empresa e a fabricante do ChatGPT OpenAI correm para vender ações no mercado de ações, em um IPO que poderia avaliar a Anthropic em quase um trilhão de dólares.
Papernot notificou as autoridades canadenses de segurança cibernética antes de divulgar seu relatório, que mostra como os pesquisadores desenvolveram o worm no laboratório usando ferramentas de IA de “código aberto” que são facilmente acessíveis e modificadas por desenvolvedores de software.
“No passado, os ciberataques se concentrariam em alvos de alto valor”, disse ele. “Sistemas bancários, hospitais, redes elétricas, sistemas de tratamento de água, escolas.”
Papernot concorda que é necessária mais colaboração entre empresas, agências governamentais e investigadores académicos para desenvolver contramedidas à medida que as ferramentas de hacking alimentadas por IA aumentam a procura de vulnerabilidades informáticas.
“Aquele laptop antigo que você tem no porão e que não verifica regularmente não parece um alvo de alto valor, mas pode ser usado como plataforma de lançamento para atacar esses alvos de maior valor”, disse ele. “Qualquer coisa conectada à Internet está agora em risco devido ao baixo custo para lançar esses ataques cibernéticos”.
