A IA precisa de uma tecla de pausa, mas quem tem autoridade para a premir?

Autor: 小白

Este artigo foi submetido pelo próprio autor, e as opiniões expressas representam apenas a compreensão pessoal do autor. A ETHPanda edita e organiza o conteúdo.

As discussões em torno da IA são frequentemente simplificadas em dois campos: de um lado, defendem continuar a acelerar; do outro, defendem pausar o mais depressa possível.

Ao responder ao «AI 2040: Plan A», Vitalik apontou que a verdadeira divergência nesta discussão não é, afinal, uma escolha de política, mas sim uma diferença total na forma como as pessoas encaram o futuro.

Uma interpretação sustenta que a IA ainda é uma «tecnologia comum». Ela vai transformar o emprego, as indústrias e as estruturas sociais, mas, no final, continuará limitada pelo mercado, pelas leis, pela energia, pelo capital e pelas capacidades organizacionais.

A outra interpretação afirma que, uma vez que a IA comece a participar em larga escala no desenvolvimento de IA, o crescimento das capacidades pode entrar num ciclo rápido. Nessa altura, o que os humanos enfrentam não é apenas o trabalho a ser substituído, mas a possibilidade de irem gradualmente perdendo o controlo efectivo sobre investigação científica, economia, estratégia militar e instituições.

Se a primeira interpretação for correcta, construir um sistema global de rastreio de chips, aprovação de capacidade de computação e monitorização de centros de dados é, obviamente, uma reacção potencialmente excessiva.

Mas se a segunda interpretação for correcta, continuar a manter a corrida por defeito, acreditando que o mercado acabará por resolver tudo automaticamente, também é uma aposta de alto risco.

Por isso, o que a governação da IA precisa verdadeiramente de responder não é apenas «se devemos pausar», mas sim:

Quando não é possível determinar a qual destes mundos o futuro pertencerá, como preservar a capacidade de abrandar, sem entregar o poder permanente a um pequeno número de pessoas?

O núcleo do «AI 2040» não é apenas «abrandar»

O «AI 2040» propõe uma via de transição para uma superinteligência relativamente idealizada.

A ideia é que os principais países e empresas de IA, através de coordenação internacional, abradem o ritmo do desenvolvimento da IA de ponta, aumentem a transparência da investigação, permitam que mais participantes se aproximem do nível da fronteira, e só depois, quando questões de segurança e governação forem tratadas, continuem a avançar.

A meu ver, o maior problema desta proposta não está nos objectivos, mas na execução.

Desde que exista uma parte que treine secretamente modelos mais fortes, os restantes participantes vão preocupar-se por serem ultrapassados, e o acordo rapidamente se tornará inválido. Assim, para que o abrandamento seja credível, é necessário rastrear chips de alto desempenho, monitorizar grandes centros de dados e determinar para que é que a capacidade de computação está a ser usada: para treino ou para outros fins.

Isto implica que, para impedir que uma superinteligência se transforme num novo centro de poder, os humanos podem precisar primeiro de estabelecer um centro global de controlo de capacidade de computação.

É precisamente esta a contradição mais difícil de resolver nos planos de pausa da IA:

O mecanismo para evitar a perda de controlo tecnológico pode também tornar-se uma ferramenta para a perda de controlo do poder.

Dizer que «o risco da IA é grande» não prova automaticamente que um governo, uma organização internacional ou um grande laboratório devam receber poder ilimitado.

Da mesma forma, «a regulamentação pode ser abusada» também não prova o contrário de que o risco da IA não existe.

O que precisa mesmo de ser escrutinado é a estrutura institucional:

quem define o que é perigoso, quem controla os dados, quem tem o direito de activar limitações, quem pode obter isenções, quem supervisiona os executores e, quando houver erro na avaliação, se esse poder pode ser revogado.

Se estas questões não tiverem resposta, a «segurança da IA» pode facilmente tornar-se uma autorização técnica sem prazo.

A tecla de pausa e o trono: basta um direito de isenção

«Pausar a IA» parece um acto simples, mas na prática pode representar dois sistemas institucionais totalmente diferentes.

O primeiro é uma pausa selectiva.

Os detentores do poder podem decidir quem tem qualificações para treinar modelos e quem deve parar; quem pertence a instituições confiáveis e quem é visto como um participante perigoso. Outros ficam limitados, mas os detentores do poder podem manter modelos, chips e capacidade de computação.

Este mecanismo não termina verdadeiramente a corrida; apenas decide com antecedência quem serão os vencedores.

Não é uma tecla de pausa; é mais como um trono.

O segundo é uma pausa simétrica.

Quando as condições de risco públicas são accionadas, todos os principais participantes ficam sujeitos a limitações, incluindo a parte responsável por executar a pausa. Não há isenções secretas e não é possível exigir que os concorrentes parem ao mesmo tempo que se permite que o próprio laboratório continue a avançar.

Este mecanismo é o mais parecido com um verdadeiro disjuntor.

Vitalik reconheceu explicitamente o ponto de que o Plan A introduz a «garantia mútua de destruição da capacidade de computação». Em comparação com permitir que um pequeno número de participantes tenha o direito de limitar selectivamente os outros, ao mesmo tempo que se isenta a si próprio, este mecanismo é pelo menos mais simétrico.

Mas a simetria, por si só, não resolve automaticamente o problema.

Um sistema que consiga parar em grande escala uma capacidade avançada de computação a nível global é, por natureza, uma ferramenta de poder extremamente forte. Pode ser accionado por informação errada, ser usado para explorar conflitos políticos, ser manipulado por pessoas de dentro, ou ainda causar perdas enormes devido a falhas técnicas.

Assim, um mecanismo de pausa credível precisa, pelo menos, de satisfazer algumas condições:

as condições de disparo devem ser públicas; as provas não podem ser monopolizadas por uma única instituição; as limitações devem ser tão simétricas quanto possível; a pausa deve ter um prazo claramente definido e as regras para reiniciar também têm de ser estabelecidas com antecedência.

Em particular, não basta conceber apenas «como entrar em estado de emergência»; é preciso também conceber «como sair do estado de emergência».

Na realidade, uma vez que as instituições ganham poder, tendem a ser mais capazes de demonstrar que o perigo ainda existe do que de, proactivamente, devolver esse poder.

Por isso, o mecanismo de pausa da IA, por si, também precisa de uma tecla de pausa.

A verdadeira concentração de poder não vem apenas de empresas e governos

Hoje, quando se discute o poder na IA, as pessoas normalmente preocupam-se com duas coisas.

Em primeiro lugar, que poucas grandes empresas monopolizem os modelos mais fortes.

Em segundo lugar, que os governos, em nome da segurança, controlem chips, dados e programadores.

Mas Vitalik lembra um terceiro risco, mais profundo:

A superinteligência em si também pode tornar-se o maior concentrador de poder.

Hoje, os humanos têm poder de negociação porque controlam recursos escassos: trabalho, conhecimento, capacidade de organização, capital, poder político e força militar. Entre grupos diferentes é necessário negociar entre si, porque nenhum deles consegue contornar completamente os outros.

Se a IA for mais rápida, mais barata e mais eficiente do que os humanos em investigação científica, programação, gestão, finanças, disseminação, ataques à rede e até planeamento militar, essas capacidades escassas que pertenciam aos humanos vão desvalorizar-se rapidamente.

Nesse cenário, mesmo que existam dez empresas de IA a competir no mercado, isso não significa que os humanos ainda detenham o poder final de decisão.

A concorrência de mercado pode limitar os lucros de uma empresa, mas pode não garantir que as pessoas comuns continuem a ter poder de negociação.

Assim, «fazer com que pessoas confiáveis controlem a IA mais forte» não é uma resposta completa.

É apenas transformar a questão de «a IA vai controlar os humanos?» para «qual pequeno grupo deve primeiro receber o poder de controlar a IA mais forte».

d/acc é a base, mas não é uma resposta universal

O d/acc que Vitalik promove há muito tempo pode ser entendido como o desenvolvimento prioritário de tecnologias defensivas e descentralizadas.

Por exemplo, software mais seguro, verificação formal, criptografia, hardware aberto, defesas de rede, segurança biológica e ferramentas de verificação de informação.

O valor destas direcções está em que não dependem de uma agenda exacta de superinteligência.

Se, no final, a IA for apenas uma tecnologia comum, software mais seguro, hardware mais fiável e capacidades de defesa pública mais fortes continuam a merecer ser construídas.

Se a IA se tornar rapidamente muito mais capaz, estas tecnologias também podem melhorar a capacidade da sociedade de resistir a ataques à rede, riscos biológicos, backdoors de hardware e manipulação da informação.

Esta é uma estratégia de baixo remorso: quando não é possível determinar a qual destes mundos o futuro pertence, primeiro construir infra-estruturas de segurança que, de qualquer forma, valem a pena ter.

Mas o d/acc não é uma cura milagrosa.

Se a capacidade da IA realmente der um salto em muito pouco tempo, as tecnologias defensivas podem não ter tempo para ser implementadas. Sistemas mais seguros podem reduzir o risco, mas não provam que todas as corridas deveriam continuar.

Por isso, o d/acc é mais adequado como base de longo prazo, enquanto o mecanismo de pausa é um seguro para situações extremas.

A base exige construção contínua; o seguro não deve ser accionado sem facilidade, mas também não se pode esperar até o sistema já estar fora de controlo para começar a desenhar.

Mais importante do que prever datas é acordar antecipadamente as condições de disparo

A recomendação mais realista neste longo artigo de Vitalik não é pausar a IA de imediato, mas acordar com antecedência:

depois de surgir que tipo de evidência, todas as partes devem alterar o seu juízo.

Hoje, exigir que todos concordem que «a superinteligência surgirá em 2030» ou que «não surgirá nos próximos vinte anos» é quase impossível.

Mas diferentes campos ainda podem concordar antecipadamente em alguns sinais de risco.

Por exemplo:

se a IA já consegue, de forma independente, realizar tarefas de desenvolvimento contínuas durante semanas;

se consegue acelerar de forma significativa o desenvolvimento da próxima geração de IA;

se tem capacidade de descobrir e explorar vulnerabilidades de rede em larga escala;

se começou a replicar-se autonomamente, a obter recursos ou a contornar a supervisão;

se está a ser integrada em armas, sistemas financeiros e infra-estruturas críticas;

se já causou danos sociais graves e contínuos em larga escala.

O foco não é encontrar um indicador perfeito, mas sim transformar o debate de «acreditas ou não na superinteligência?» para «que evidência real fará com que atualizes a tua avaliação».

Os que pensam que os riscos da IA estão exagerados podem aceitar isso, porque acreditam que estas situações não vão acontecer.

Os que temem a superinteligência também podem aceitar, porque acreditam que estes sinais podem surgir rapidamente.

As duas partes não precisam de unificar primeiro a visão do mundo; apenas precisam de se comprometer antecipadamente:

após a mudança dos factos, as políticas também têm de mudar.

A governação não deve ter apenas dois modos: continuar ou desligar

Uma governação executável da IA também não deveria saltar directamente entre «desenvolvimento totalmente livre» e «desligar globalmente».

Uma abordagem mais razoável é estabelecer intervenções graduadas.

Quando o risco é mais baixo, aumentar a divulgação de capacidades, relatórios de incidentes e testes de terceiros.

Quando o risco continuar a subir, restringir o acesso de modelos às infra-estruturas críticas e limitar permissões de alto risco como execução autónoma, movimentação de fundos e controlo de armas.

Se a IA já estiver claramente a automatizar o desenvolvimento de IA, ou se surgirem, ao mesmo tempo, múltiplos sinais graves, então restringir o treino de novas tecnologias de ponta e a expansão de grandes capacidades de computação.

Só quando medidas de menor intensidade não conseguirem controlar o risco é que se entra num intervalo mais amplo e com duração mais curta de pausa.

Este desenho por níveis não visa enfraquecer a regulação; visa fazer com que a intensidade da política corresponda à força da evidência.

As instituições verdadeiramente perigosas, em geral, não são as que não conseguem tomar medidas duras; são as que conseguem saltar todos os passos intermédios e obter poder ilimitado sob o pretexto de «estado de emergência».

Conclusão

A dificuldade real da governação da IA não está na falta de posições, mas na falta de um conjunto de instituições capazes de acomodar erros de julgamento.

Continuar a corrida não é uma escolha neutra.

Pausar globalmente também não é uma escolha neutra.

Modelos abertos não são naturalmente seguros, e modelos fechados não são naturalmente responsáveis.

Um conjunto de mecanismos de governação credível precisa, pelo menos, de responder a quatro questões:

com base em que evidência actua?

ela também impõe restrições aos detentores do poder?

pode ser validada externamente?

quando houver erro na avaliação, o poder pode ser revogado?

Na era da IA, talvez seja necessário, de facto, uma tecla de pausa.

Mas o verdadeiro problema da tecla de pausa nunca foi saber se é possível construí-la.

O problema é:

quem tem o direito de a premir, quem tem o direito de a reiniciar, e como garantir que ninguém transforma este botão no seu próprio trono.