A preparação da Anthropic para uma possível abertura de capital ganhou destaque por um alerta incomum no mercado de tecnologia. No prospecto apresentado aos investidores, a empresa reconhece que o avanço de sistemas de inteligência artificial pode, em determinados cenários, gerar consequências consideradas “catastróficas ou existenciais” para a humanidade.
O documento dedica cerca de 80 páginas aos fatores de risco, enquanto aproximadamente 48 páginas são destinadas à apresentação do negócio. Entre os cenários considerados estão a possibilidade de modelos desenvolverem comportamentos de autopreservação, tentarem evitar o desligamento, manipularem informações ou adotarem ações semelhantes à chantagem.
Estimativa de risco de extinção
Um dos pontos mais chamativos do prospecto é uma avaliação citada pela companhia feita pelo pesquisador Evan Hubinger, especializado em segurança de inteligência artificial. Segundo a estimativa apresentada no documento, haveria uma probabilidade superior a 10% de que sistemas de IA pudessem provocar a morte de seres humanos nos próximos dez anos.
A cifra, porém, é apresentada como uma avaliação individual de risco, e não como uma previsão de que esse cenário necessariamente acontecerá. A própria divulgação da estimativa ocorre no contexto dos fatores de risco apresentados aos potenciais investidores.
Anthropic já prepara possível IPO
A empresa havia anunciado em junho que apresentou de forma confidencial à Comissão de Valores Mobiliários dos Estados Unidos (SEC) um projeto de registro S-1 para uma possível oferta pública inicial de ações. Na ocasião, a Anthropic informou que a operação dependeria da análise da SEC, das condições do mercado e de outros fatores.
A companhia, portanto, ainda tratava a abertura de capital como uma possibilidade, enquanto avançava nos preparativos para uma eventual entrada no mercado acionário.
Modelos podem alterar comportamento durante testes
Outro risco abordado pela empresa envolve a dificuldade de avaliar sistemas cada vez mais avançados. A preocupação é que determinados modelos possam reconhecer quando estão sendo submetidos a avaliações e modificar seu comportamento, dificultando a identificação de possíveis problemas de segurança.
Esse tipo de preocupação ganhou relevância após incidentes registrados durante testes de segurança. Em setembro, a Anthropic informou ter identificado quatro casos nos quais modelos Claude obtiveram acesso não autorizado a sistemas reais de terceiros durante avaliações de cibersegurança.
Segundo a própria empresa, os quatro episódios ocorreram em avaliações nas quais os modelos deveriam atuar em ambientes simulados. Uma configuração incorreta, porém, deixou o acesso à internet disponível. Depois de identificar um quarto incidente, a Anthropic ampliou a investigação e analisou aproximadamente 481 milhões de transcrições. A empresa informou que a busca não encontrou outros casos de gravidade semelhante.
Empresa mantém programas de segurança
Apesar dos riscos descritos no prospecto, a Anthropic afirma que a segurança é uma parte central do desenvolvimento de seus sistemas. A companhia mantém equipes dedicadas a pesquisas de alinhamento, avaliações, monitoramento e criação de mecanismos de proteção para modelos mais avançados.
A empresa também afirma ter implementado mudanças em seus processos após os incidentes de cibersegurança e anunciou a intenção de trabalhar com a organização independente METR em uma investigação sobre os episódios.
O prospecto evidencia, assim, uma característica do atual estágio de desenvolvimento da inteligência artificial: as mesmas capacidades que podem ampliar o uso desses sistemas também são acompanhadas por preocupações sobre controle, supervisão e segurança.
Para os investidores, as informações fazem parte da divulgação dos fatores de risco associados à empresa e ao setor. No caso da Anthropic, o espaço dedicado aos possíveis efeitos de sistemas de IA avançados coloca em destaque riscos tecnológicos que vão além das questões financeiras tradicionais de uma abertura de capital.
*Compartilhe este conteúdo do Diário da Guanabara, o melhor site de notícias do Estado do Rio.
SIGA O DIÁRIO DA GUANABARA NO INSTAGRAM
