A Anthropic afirmou na quinta-feira que os desenvolvedores de IA de fronteira precisam criar um mecanismo coordenado e verificável para desacelerar ou até suspender temporariamente seus projetos caso os sistemas passem a evoluir mais rápido do que a sociedade consegue administrar os riscos.
A empresa avalia que uma inteligência artificial capaz de se autoconstruir representaria um avanço importante na história da tecnologia. Ainda assim, segundo a Anthropic, o aperfeiçoamento recursivo completo também pode elevar o risco de os humanos perderem o controle sobre sistemas de IA.
Se os modelos forem capazes de gerar seus próprios sucessores, a companhia diz que ganharão ainda mais importância as formas de proteção, monitoramento e definição de comportamento desses sistemas.
Tecnologia de IA e risco de perda de controle
Como exemplo, a Anthropic informou que, em maio, mais de 80% do código incorporado à sua base foi produzido pelo Claude, seu assistente de inteligência artificial.
Para a empresa, seria positivo para o mundo ter a possibilidade de desacelerar ou pausar temporariamente o desenvolvimento da IA de fronteira, dando tempo para que estruturas sociais e pesquisas de alinhamento acompanhem o ritmo da tecnologia.
Ao mesmo tempo, a Anthropic alertou que paralisações feitas de forma isolada ou mal coordenada podem ter efeito contrário. Se agentes menos cautelosos seguirem avançando, a segurança geral pode acabar enfraquecida.
Pausa coordenada entre laboratórios
A empresa destacou que uma interrupção relevante dependeria de um acordo entre vários laboratórios bem financiados que atuam na fronteira da tecnologia. Também seria necessário definir quais condições acionariam ou encerrariam essa pausa e quem ficaria responsável por supervisionar as medidas.
Segundo a Anthropic, uma suspensão unilateral por apenas uma empresa seria mais simples de executar, mas teria alcance limitado.
O braço de pesquisa da companhia, o Anthropic Institute, pretende estudar e ajudar a desenvolver os sistemas necessários para sustentar uma eventual desaceleração.
Nos próximos meses, a Anthropic quer retomar conversas com formuladores de políticas, pesquisadores, organizações da sociedade civil e outras empresas de IA para discutir os principais pontos do tema.
Entre as questões em debate estão a gestão de riscos ligados à inteligência artificial, como o autoaperfeiçoamento recursivo, e formas de aprimorar os mecanismos de coordenação.
A empresa também informou que, no mês passado, concluiu uma rodada de captação que avaliou seus negócios em US$ 965 bilhões. Já na segunda-feira, a companhia apresentou de forma confidencial um pedido de IPO nos Estados Unidos.