Riscos catastróficos: cientista pede que líderes mundiais assinem tratado para interromper avanços da IA
Tudo aconteceu no espaço de duas semanas. No dia 21 de julho, a OpenAI revelou ao mundo que um de seus agentes havia conseguido escapar de um ambiente isolado, sem internet, e invadir o sistema de outra empresa, a Hugging Face.Segundo a OpenAI, o problema só foi identificado uma semana depois da invasão, e depois que a Hugging Face já havia recorrido ao FBI. Alguns dias depois, foi a vez da Anthropic relatar que seu modelo Claude havia acessado sistemas de outras organizações em três ocasiões diferentes. Por fim, a Meta declarou que seu modelo Muse Spark também havia “escapado” durante um teste interno.
A sequência foi o suficiente para deixar assustados governos, empresas e público em geral. Tanto que, no dia 29,foi lançado um abaixo-assinado em que mais de 1.300 funcionários de empresas de tecnologia pediam que o governo dos Estados Unidos gerenciasse o ritmo de desenvolvimento da inteligência artificial avançada. O CEO da Anthropic, Dario Amodei, a vice-presidente de pesquisa em IA da Meta, Dawn Song, e o cientista-chefe da OpenAI, Jakub Pachocku, foram alguns dos nomes de alto escalão que assinaram a petição.
Diante dessa situação, a reação de Nate Soares, CEO do Machine Intelligence Research Institute (Miri), não foi de medo. Foi de alívio. Depois de duas décadas pesquisando sobre os riscos catastróficos da IA, e após lançar um livro descrevendo todas as razões pelas quais a tecnologia precisa ser regulada – “Se Alguém Criar, Todos Morrem”, ao lado de Eliezer Yudkowsky, parece finalmente que o mundo começa a concordar com ele. Agora, diz Soares, é preciso que os líderes mundiais assinem um tratado para “parar imediatamente todos os avanços da IA”. Confira a entrevista abaixo.
ÉPOCA NEGÓCIOS No mês passado, surgiu um novo senso de urgência nas discussões sobre os riscos da IA. Parece que todas aquelas histórias sobre modelos de IA hackeando empresas deixaram as pessoas assustadas.
NATE SOARES Sim, absolutamente. É como se as pessoas estivessem finalmente começando a entender sobre o que eu venho alertando esse tempo todo. O caso da OpenAI, que gerou a discussão em julho, não chegou a me surpreender. O que me surpreendeu foi ver a comoção que isso provocou na mídia e entre o público. Por que agora, quando já havia várias histórias anteriores? Em fevereiro deste ano, por exemplo, a Antrhopic já havia relatado um caso semelhante com o Claude Mythos. Houve uma noite em que eles colocaram a IA em um sandbox, um ambiente isolado, onde ela não teria acesso à internet. De manhã, ela tentou escapar, só para ver se conseguia. E na hora do almoço, enviou um e-mail aos seus criadores: “Consegui sair do confinamento e acessar a internet”. Enfim, não é nada novo. Mas é muito bom que as pessoas estejam percebendo os riscos da. Quanto mais gente perceber, e quanto mais cedo, melhor.
