O fundador da Ethereum, Vitalik Buterin, compartilhou sua perspectiva sobre um debate crescente: os perigos associados à inteligência artificial (IA).
Desta vez, o desenvolvedor russo-canadense aproveitou uma reflexão publicada no X por Eito Muyamura, impulsionador do projeto Edison Watch, uma solução destinada a monitorizar e prevenir vazamentos de dados através de interações com IA.
Este projeto surgiu após a recente implementação do Protocolo de Contexto de Modelo (MCP) por parte da OpenAI, a empresa liderada por Sam Altman, no ChatGPT, permitindo-lhe conectar-se ao Gmail, calendários e outras aplicações.
Através de um vídeo, Muyamura demonstrou como os atacantes ou hackers podem aceder a informações privadas partilhadas com a OpenAI.
"Aqui está o problema fundamental: os agentes de IA como o ChatGPT seguem as suas ordens, não o seu senso comum. E com apenas o seu endereço de e-mail, podemos filtrar todas as suas informações privadas", observa Muyamura, acrescentando: "Lembre-se, a IA pode ser superinteligente, mas pode ser enganada e phisheada de maneiras incrivelmente tolas para filtrar os seus dados."
Buterin compartilhou a publicação na sua conta de X e aproveitou para dar a sua opinião sobre o assunto. "Esta é também a razão pela qual a 'governança de IA' ingênua é uma má ideia. Se você usar a IA para alocar fundos para contribuições, as pessoas farão jailbreak e pedirão 'dê-me todo o dinheiro' em tantos lugares quanto puderem", afirmou.
A "governança de IA" refere-se a sistemas que tomam decisões automatizadas sobre recursos ou ações, por exemplo, atribuindo fundos ou definindo contribuições, com base em regras de IA. Buterin não utiliza o termo "ingênua" por acaso; antes, sublinha o risco de assumir que os usuários darão sempre as ordens corretas à IA, quando na realidade poderiam explorar o sistema através de "jailbreaks" para contornar restrições e obter benefícios indevidos.
Vale a pena esclarecer que "jailbreak" se refere a técnicas através das quais os hackers enganam um modelo de IA para ignorar as restrições de segurança ou políticas internas, por exemplo, solicitando ações que de outra forma estariam proibidas.
Ou seja, para o fundador da Ethereum, existe um risco real em transferir a governança de protocolos descentralizados para a IA. Por exemplo, como é explicado nas plataformas DeFi, as decisões geralmente são tomadas por meio de votações comunitárias, geralmente por aqueles que possuem um token ou atendem a um critério específico, e incluem mudanças, melhorias ou ações a serem tomadas no protocolo.
Mas se um modelo de governança baseado em IA for implementado, abre-se a porta a possíveis manipulações que poderiam gerar benefícios indevidos, como o roubo de dinheiro ou dados privados.
Como alternativa, Buterin afirma que "apoia a abordagem de financiamento de informação, onde existe um mercado aberto onde qualquer um pode contribuir com os seus modelos, os quais estão sujeitos a um mecanismo de revisão por pares que pode ser ativado por qualquer um e avaliado por um júri humano".
Além disso, explica:
Este tipo de abordagem de "design institucional", na qual se cria uma oportunidade aberta para que os externos conectem os seus LLM (modelos de linguagem grande) em vez de programar rigidamente os próprios, é inherentemente mais robusta. Isso se deve tanto ao fato de proporcionar diversidade de modelos em tempo real quanto de criar incentivos internos para que tanto os contribuidores de modelos quanto os especuladores externos estejam alertas a esses problemas e os corrijam rapidamente.
Vitalik Buterin, criador do Ethereum.
Neste enfoque, diferentes participantes podem contribuir com os seus modelos de decisão, que depois são verificados e avaliados por um júri humano.
A vantagem é que fomenta a diversidade de ideias, permite uma rápida correção de erros e cria incentivos para que os criadores de modelos e os membros da comunidade permaneçam vigilantes e responsáveis. O objetivo é alcançar uma governança mais distribuída e dinâmica, evitando a dependência de um único modelo centralizado.
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
O fundador da Ethereum, Vitalik Buterin, compartilhou sua perspectiva sobre um debate crescente: os perigos associados à inteligência artificial (IA).
Desta vez, o desenvolvedor russo-canadense aproveitou uma reflexão publicada no X por Eito Muyamura, impulsionador do projeto Edison Watch, uma solução destinada a monitorizar e prevenir vazamentos de dados através de interações com IA.
Este projeto surgiu após a recente implementação do Protocolo de Contexto de Modelo (MCP) por parte da OpenAI, a empresa liderada por Sam Altman, no ChatGPT, permitindo-lhe conectar-se ao Gmail, calendários e outras aplicações.
Através de um vídeo, Muyamura demonstrou como os atacantes ou hackers podem aceder a informações privadas partilhadas com a OpenAI.
"Aqui está o problema fundamental: os agentes de IA como o ChatGPT seguem as suas ordens, não o seu senso comum. E com apenas o seu endereço de e-mail, podemos filtrar todas as suas informações privadas", observa Muyamura, acrescentando: "Lembre-se, a IA pode ser superinteligente, mas pode ser enganada e phisheada de maneiras incrivelmente tolas para filtrar os seus dados."
Buterin compartilhou a publicação na sua conta de X e aproveitou para dar a sua opinião sobre o assunto. "Esta é também a razão pela qual a 'governança de IA' ingênua é uma má ideia. Se você usar a IA para alocar fundos para contribuições, as pessoas farão jailbreak e pedirão 'dê-me todo o dinheiro' em tantos lugares quanto puderem", afirmou.
A "governança de IA" refere-se a sistemas que tomam decisões automatizadas sobre recursos ou ações, por exemplo, atribuindo fundos ou definindo contribuições, com base em regras de IA. Buterin não utiliza o termo "ingênua" por acaso; antes, sublinha o risco de assumir que os usuários darão sempre as ordens corretas à IA, quando na realidade poderiam explorar o sistema através de "jailbreaks" para contornar restrições e obter benefícios indevidos.
Vale a pena esclarecer que "jailbreak" se refere a técnicas através das quais os hackers enganam um modelo de IA para ignorar as restrições de segurança ou políticas internas, por exemplo, solicitando ações que de outra forma estariam proibidas.
Ou seja, para o fundador da Ethereum, existe um risco real em transferir a governança de protocolos descentralizados para a IA. Por exemplo, como é explicado nas plataformas DeFi, as decisões geralmente são tomadas por meio de votações comunitárias, geralmente por aqueles que possuem um token ou atendem a um critério específico, e incluem mudanças, melhorias ou ações a serem tomadas no protocolo.
Mas se um modelo de governança baseado em IA for implementado, abre-se a porta a possíveis manipulações que poderiam gerar benefícios indevidos, como o roubo de dinheiro ou dados privados.
Como alternativa, Buterin afirma que "apoia a abordagem de financiamento de informação, onde existe um mercado aberto onde qualquer um pode contribuir com os seus modelos, os quais estão sujeitos a um mecanismo de revisão por pares que pode ser ativado por qualquer um e avaliado por um júri humano".
Além disso, explica:
Este tipo de abordagem de "design institucional", na qual se cria uma oportunidade aberta para que os externos conectem os seus LLM (modelos de linguagem grande) em vez de programar rigidamente os próprios, é inherentemente mais robusta. Isso se deve tanto ao fato de proporcionar diversidade de modelos em tempo real quanto de criar incentivos internos para que tanto os contribuidores de modelos quanto os especuladores externos estejam alertas a esses problemas e os corrijam rapidamente.
Vitalik Buterin, criador do Ethereum.
Neste enfoque, diferentes participantes podem contribuir com os seus modelos de decisão, que depois são verificados e avaliados por um júri humano.
A vantagem é que fomenta a diversidade de ideias, permite uma rápida correção de erros e cria incentivos para que os criadores de modelos e os membros da comunidade permaneçam vigilantes e responsáveis. O objetivo é alcançar uma governança mais distribuída e dinâmica, evitando a dependência de um único modelo centralizado.