A IA precisa de um botão de pausa, mas quem tem permissão para apertá-lo?

作者：小白

Este texto é uma contribuição original do autor, e as opiniões representam apenas o entendimento pessoal do autor. A ETHPanda edita e organiza o conteúdo.

As discussões sobre IA, com frequência, são simplificadas em dois campos: de um lado, quem defende acelerar ainda mais; do outro, quem defende pausar o quanto antes.

Ao responder “AI 2040: Plan A”, Vitalik apontou que a verdadeira divergência desta discussão não é uma escolha de política, e sim que as pessoas fazem julgamentos totalmente diferentes sobre o futuro.

Um tipo de julgamento entende que a IA ainda é uma “tecnologia comum”. Ela vai mudar empregos, indústrias e a estrutura social, mas, no fim, ainda ficaria limitada pelo mercado, leis, energia, capital e capacidade de organização.

O outro tipo de julgamento é o de que, quando a IA começar a participar em massa do desenvolvimento de IA, o crescimento de capacidade pode entrar em um ciclo acelerado. Nesse momento, o ser humano não enfrentaria apenas a substituição de empregos, mas talvez a perda gradual do controle real em pesquisa, economia, assuntos militares e instituições.

Se o primeiro julgamento estiver correto, criar um sistema global de rastreamento de chips, aprovações de poder computacional e monitoramento de data centers, obviamente, seria uma reação severamente exagerada.

Mas se o segundo julgamento estiver correto, continuar mantendo a corrida por padrão, acreditando que o mercado no fim vai resolver tudo sozinho, também é uma aposta de alto risco.

Portanto, o que a governança de IA realmente precisa responder não é só “deve pausar ou não”, e sim:

Quando não é possível saber a qual tipo de mundo o futuro pertencerá, como preservar a capacidade de desacelerar, sem entregar poder permanente a poucas pessoas?

O núcleo do “AI 2040” não é apenas “desacelerar”

O “AI 2040” propõe uma rota de transição para uma superinteligência relativamente idealizada.

Ele imagina que os principais países e empresas de IA, por meio de coordenação internacional, desacelerem o desenvolvimento de IA de ponta, aumentem a transparência das pesquisas, façam com que mais participantes consigam correr atrás até níveis próximos ao estado da arte e, depois que questões de segurança e governança forem tratadas, retomem o avanço.

A meu ver, o maior problema dessa proposta não está no objetivo, mas na execução.

Enquanto existir algum lado treinando secretamente modelos mais fortes, os outros participantes vão temer ficar para trás, e o acordo vai perder validade rapidamente. Portanto, para tornar a desaceleração confiável, é necessário rastrear chips de alto nível, monitorar grandes data centers e verificar para que exatamente o poder computacional está sendo usado: para treinar ou para outros fins.

Isso significa que, para impedir que a superinteligência forme um novo centro de poder, talvez os humanos precisem primeiro estabelecer um centro global de controle de capacidade computacional.

Este é exatamente o paradoxo mais difícil de resolver nas propostas de pausa de IA:

Os mecanismos para impedir perda de controle tecnológico também podem virar ferramentas de perda de controle do poder.

Dizer que “o risco de IA é grande” não prova automaticamente que algum governo, organização internacional ou grande laboratório deva receber poder ilimitado.

Da mesma forma, “a regulação pode ser abusada” também não prova, ao contrário, que o risco de IA não existe.

O que precisa ser escrutinado de verdade é a estrutura institucional:

quem define o que é perigoso, quem controla os dados, quem tem direito de iniciar a limitação, quem pode receber isenção, quem supervisiona quem executa e, após um erro de avaliação, se esse poder pode ou não ser revogado.

Se essas questões não tiverem resposta, “segurança de IA” pode facilmente se transformar em uma autorização técnica sem prazo para uso do poder.

Entre o botão de pausa e o trono, falta apenas uma isenção

“Pausar a IA” parece uma ação simples, mas na prática pode representar dois tipos totalmente diferentes de arranjo institucional.

O primeiro é uma pausa seletiva.

Quem está no poder pode decidir quem tem qualificação para treinar modelos e quem deve parar; quem pertence a uma instituição confiável e quem é considerado um participante perigoso. Os outros são restringidos, enquanto quem está no poder mantém a possibilidade de preservar modelos, chips e capacidade computacional.

Esse mecanismo não encerra a corrida de verdade; apenas escolhe antecipadamente o vencedor.

Ele não é um botão de pausa, é mais como um trono.

O segundo é uma pausa simétrica.

Quando condições públicas de risco forem acionadas, todos os principais participantes serão limitados, inclusive o lado responsável por executar a pausa. Não há isenções secretas, e não é possível exigir que competidores parem enquanto o próprio laboratório continua avançando.

Esse tipo de mecanismo é o que mais se aproxima de um “interruptor de desligamento” real.

Vitalik endossou claramente no Plan A a ideia de “garantir mutuamente a destruição da capacidade computacional”. Comparado com dar a poucos participantes o direito de limitar seletivamente outros — ao mesmo tempo em que se isenta —, esse tipo de mecanismo, pelo menos, é mais simétrico.

Mas a simetria também não resolve automaticamente o problema.

Um sistema que consegue desligar em massa a capacidade computacional avançada globalmente é, por si só, uma ferramenta extremamente forte de poder. Ele pode ser acionado por informações erradas, explorado por conflitos políticos, manipulado por insiders ou causar perdas enormes por falhas técnicas.

Assim, um mecanismo de pausa confiável precisa, no mínimo, cumprir alguns requisitos:

as condições de acionamento devem ser públicas; as evidências não podem ser monopolizadas por uma única instituição; as limitações devem ser o mais simétricas possível; a pausa precisa ter um prazo claro; e as regras de retomada também precisam ser definidas com antecedência.

Especialmente, não se pode apenas desenhar “como entrar em estado de emergência”, sem desenhar “como sair do estado de emergência”.

Na prática, depois que instituições recebem poder, elas normalmente acham mais fácil provar que o perigo ainda existe — em vez de devolver o poder de forma proativa.

Por isso, o mecanismo de pausa da IA, por si só, também precisa de um botão de pausa.

Concentração de poder real não vem só de empresas e governos

Quando se discute poder em IA hoje, as pessoas geralmente se preocupam com duas coisas.

Uma: poucas grandes empresas monopolizam os modelos mais fortes.

Duas: governos controlam chips, dados e desenvolvedores em nome da segurança.

Mas Vitalik lembra um terceiro risco, mais profundo:

A própria superinteligência também pode se tornar o maior concentrador de poder.

Hoje, os humanos têm capacidade de barganha porque controlam alguns recursos escassos: trabalho, conhecimento, capacidade de organização, capital, poder político e força. Entre diferentes grupos, é necessário negociar entre si porque nenhuma parte consegue contornar totalmente as outras.

Se a IA passar a ser mais rápida, mais barata e mais eficaz do que humanos em pesquisa, programação, gestão, finanças, disseminação, ataques de rede e até planejamento militar, essas capacidades escassas que antes pertenciam aos humanos vão se desvalorizar rapidamente.

Nesse momento, mesmo que existam dez empresas de IA competindo no mercado, isso não significa que os humanos ainda mantêm a decisão final.

A concorrência de mercado pode limitar o lucro de uma empresa, mas talvez não garanta que pessoas comuns continuem com capacidade de barganha.

Então, “fazer com que pessoas confiáveis controlem a IA mais forte” não é uma resposta completa.

Isso apenas reformula o problema de “será que a IA vai controlar os humanos?” para “qual pequeno grupo deve receber primeiro o poder de controlar a IA mais forte”.

d/acc é a base, mas não é resposta universal

O d/acc, que Vitalik defende há muito tempo, pode ser entendido como priorizar o desenvolvimento de tecnologias defensivas e descentralizadas.

Por exemplo: softwares mais seguros, verificação formal, criptografia, hardware aberto, defesa de redes, segurança biológica e ferramentas de verificação de informação.

O valor desses caminhos está em que eles não dependem de um cronograma preciso de superinteligência.

Se no final a IA for apenas uma tecnologia comum, softwares mais seguros, hardware mais confiável e melhores capacidades de defesa pública ainda valem a pena ser construídos.

Se a IA ficar mais forte rapidamente, essas tecnologias também podem aumentar a capacidade da sociedade de resistir a ataques cibernéticos, riscos biológicos, backdoors em hardware e manipulação de informação.

É uma estratégia de baixo arrependimento: quando não se sabe qual tipo de mundo o futuro terá, primeiro construir uma infraestrutura de segurança que valha a pena ter, não importa o quê.

Mas d/acc não é uma cura universal.

Se as capacidades de IA realmente derem um salto em um intervalo curto, as tecnologias defensivas podem não ter tempo de ser implementadas. Sistemas mais seguros podem reduzir riscos, mas não provam que todas as corridas devem continuar.

Por isso, o d/acc funciona melhor como base de longo prazo, enquanto um mecanismo de pausa é um seguro em situações extremas.

A base precisa ser construída continuamente, o seguro não deve ser acionado facilmente, mas também não pode ser desenhado só depois que o sistema já perdeu o controle.

Mais importante do que prever datas é combinar com antecedência as condições de acionamento

O conselho mais relevante para a realidade no longo texto de Vitalik não é pausar a IA imediatamente, mas combinar com antecedência:

que tipo de evidência fará com que todas as partes mudem suas avaliações.

Hoje, exigir que todos concordem “a superinteligência surgirá em 2030” ou “não surgirá nos próximos vinte anos” é quase impossível.

Mas diferentes campos ainda podem concordar antecipadamente com alguns sinais de risco.

Por exemplo:

se a IA já consegue concluir, de forma independente, tarefas de pesquisa e desenvolvimento contínuas por várias semanas;

se consegue acelerar significativamente o desenvolvimento da próxima geração de IA;

se tem capacidade de descobrir e explorar vulnerabilidades de rede em escala;

se começou a se replicar de forma autônoma, obter recursos ou burlar a supervisão;

se foi conectada a armas, sistemas financeiros e infraestrutura crítica;

se já causou danos sociais contínuos e em grande escala.

O foco não é encontrar um indicador perfeito, e sim transformar o debate de “você acredita que haverá superinteligência?” para “que evidências reais te fariam atualizar seu julgamento”.

Quem acha que os riscos de IA estão exagerados pode aceitar, desde que acredite que esses cenários não acontecerão.

Quem teme a superinteligência também pode aceitar, desde que acredite que esses sinais podem surgir rapidamente.

As duas partes não precisam unificar antes uma visão de mundo; basta se comprometer com antecedência:

depois de uma mudança na realidade, as políticas também precisam mudar.

A intervenção não deve existir apenas em dois níveis: continuar ou desligar

A governança executável de IA também não deve simplesmente alternar diretamente entre “desenvolvimento totalmente livre” e “desligamento global”.

Uma forma mais razoável é criar uma intervenção em níveis.

Quando o risco for mais baixo, aumentar a divulgação de capacidades, relatórios de incidentes e testes de terceiros.

Quando o risco continuar subindo, limitar o acesso de modelos à infraestrutura crítica e restringir permissões de alto risco como execução autônoma, movimentação de recursos e controle de armas.

Se a IA já estiver claramente automatizando o desenvolvimento de IA, ou se aparecerem vários sinais graves ao mesmo tempo, restringir o novo treinamento de ponta e a expansão de grande escala de capacidade computacional.

Somente quando medidas de menor intensidade não conseguirem controlar o risco é que se passa para uma pausa com escopo maior e por menos tempo.

Esse desenho em níveis não existe para enfraquecer a regulação; existe para fazer a intensidade das políticas corresponder à força das evidências.

Instituições verdadeiramente perigosas não são as que não têm capacidade de adotar medidas duras — e sim as que conseguem pular todos os passos intermediários e obter poder ilimitado com o pretexto de “estado de emergência”.

Conclusão

O que torna a governança de IA realmente difícil não é falta de posição, e sim falta de um conjunto de instituições que consiga acomodar erros de julgamento.

Continuar a corrida não é uma escolha neutra.

Pausar globalmente também não é uma escolha neutra.

Modelos abertos não são naturalmente seguros, e modelos fechados também não são naturalmente responsáveis.

Um conjunto de mecanismos de governança confiável precisa responder, no mínimo, quatro perguntas:

em que evidências ele age?

ele também restringe quem está no poder?

ele consegue ser verificado por agentes externos?

quando houver erro de julgamento, o poder pode ser revogado?

Na era da IA, talvez realmente seja necessário um botão de pausa.

Mas o verdadeiro desafio do botão de pausa nunca foi saber se dá para construí-lo.

A questão é:

quem tem o direito de apertá-lo, quem tem o direito de reiniciá-lo e como garantir que ninguém consiga transformar esse botão no próprio trono.