“Lagosta” com garras abertas, como as empresas podem garantir a segurança na “criação de camarões”? Entrevista com Bai Yaohua, do escritório de advocacia Dehehengt: é preciso estabelecer limites e diretrizes para os “empregados digitais”

Ações na bolsa? Veja os relatórios de análise dos analistas do Golden Kylin: autoridade, profissionalismo, atualidade, abrangência, para ajudá-lo a descobrir oportunidades de temas com potencial!

（Fonte: Daily Economic News）

Jornalista do Daily Economic News: Song Sijian. Editor: Liao Dan.

Atualmente, com grandes empresas de internet lançando produtos OpenClaw (uma estrutura de inteligência artificial de código aberto, popularmente conhecida como “Lobster”) e algumas tentando integrá-la ao ambiente de produção, os riscos legais de “criar camarões” também estão vindo à tona: Quais são as diferenças nos riscos legais entre o uso de “Lobster” e aplicações comuns de grandes modelos? Se durante a operação do “Lobster” ocorrerem exclusões acidentais de dados ou ordens incorretas, quem é responsável? Como as empresas podem gerenciar a conformidade ao “criar camarões”?

Em 19 de março, o repórter do Daily Economic News (doravante NBD) entrevistou por escrito o advogado Bai Yaohua, diretor do departamento de inteligência artificial e condução autônoma do escritório Beijing Deheheng (Shanghai), sócio sênior.

Imagem do advogado Bai Yaohua: Fonte: fotos fornecidas pelo entrevistado

Seguir o princípio do “mínimo necessário” e estabelecer etapas de “confirmação manual” obrigatórias para operações de alto risco

NBD: Como o OpenClaw, como uma “estrutura de inteligência artificial de código aberto”, difere em riscos legais de aplicações comuns de grandes modelos?

Bai Yaohua: Como uma estrutura de inteligência artificial de código aberto, o OpenClaw apresenta riscos legais mais complexos e antecipados em comparação com aplicações tradicionais de grandes modelos. A principal diferença reside na sua característica de “código aberto”, que torna difusa a responsabilidade dos responsáveis, além de sua natureza de “agente inteligente”, que a transforma de geradora de informações em executor de ações, introduzindo novos riscos de controle de operação e responsabilização por ações.

De forma específica, os riscos de aplicações de grandes modelos (como chatbots) concentram-se na violação de direitos de propriedade intelectual do conteúdo gerado, disseminação de informações falsas, conformidade no tratamento de dados pessoais, etc. Já o risco de estruturas como o OpenClaw é mais complexo e evolutivo:

Primeiro, o risco de rede de responsabilidade decorrente do “código aberto”. Como a estrutura é aberta a contribuições globais de desenvolvedores, a responsabilidade por segurança e proteção de dados se dispersa entre uma comunidade ampla. A Lei de Segurança Cibernética da China exige que operadores de redes estabeleçam e implementem sistemas de gestão de segurança. Em um ecossistema de código aberto, quem é o “operador”? Os desenvolvedores originais, as empresas que fazem a segunda modificação, os provedores de plugins — todos podem ser responsáveis em diferentes etapas, dificultando a definição de responsabilidades.

Segundo, o risco de comportamento decorrente do “agente inteligente”. Enquanto modelos tradicionais “falando” (como chatbots), agentes inteligentes “fazem” — podem operar automaticamente sistemas externos (como fazer pedidos, excluir dados). Isso amplia o risco de “discurso e informação” para “ação e operação”. Se ocorrerem erros, podem causar perdas financeiras, violações contratuais ou danos ao sistema, com consequências mais diretas e substanciais. Assim, desenvolvedores e usuários devem gerenciar esses agentes como “empregados digitais”, estabelecendo limites de permissão e regras de conduta rigorosas.

Para as empresas, recomendo: ao adotar esse tipo de estrutura, primeiro esclarecer os diferentes responsáveis na cadeia tecnológica por meio de contratos, definindo obrigações de segurança e limites de responsabilidade; além disso, criar regras específicas de gestão para ferramentas de automação, diferenciando-as de IA de geração de conteúdo comum.

NBD: A maior novidade do OpenClaw é que ele pode não apenas responder perguntas, mas também operar automaticamente páginas, sistemas e ferramentas. Quais implicações legais disso?

Bai Yaohua: A capacidade de operação automática significa que o agente impulsionado pelo OpenClaw evolui de uma “ferramenta auxiliar” para um “agente de ação”, cujo significado legal central está no “alcance da autorização de ação” e na “responsabilidade pelos efeitos das ações”, podendo acionar o cumprimento de contratos, responsabilidade por danos e requisitos de conformidade de tratamento de dados mais rigorosos.

Essa capacidade de “agente de ação” faz com que ele não se limite a fornecer recomendações, mas possa interagir diretamente com sistemas de terceiros em nome do usuário ou do desenvolvedor, gerando efeitos jurídicos. Por exemplo:

Primeiro, pode atuar como executor de contratos. Ordens automáticas de compra, cotações, etc., podem ser interpretadas como ofertas ou compromissos feitos pelo usuário ou desenvolvedor, formando um contrato assim que há concordância. Se ocorrerem erros (como cotações incorretas), podem gerar disputas contratuais.

Segundo, constitui uma ação de processamento ou acesso a dados. Operações automáticas envolvem leitura, modificação ou exclusão de dados do sistema, entrando na esfera de regulação da Lei de Segurança de Dados da China e da Lei de Proteção de Informações Pessoais. Especialmente se envolverem decisões automatizadas (como oferecer preços diferentes com base em dados do usuário), o responsável pelo tratamento de dados deve realizar uma avaliação de impacto de proteção de dados, conforme o artigo 55 da Lei de Proteção de Informações Pessoais.

Terceiro, potencial executor de atos de violação. Se o agente ultrapassar limites de acesso a sistemas de terceiros, excluir dados indevidamente ou divulgar calúnias, suas ações podem configurar violações de segurança de rede, propriedade ou reputação, com responsabilidades atribuídas ao seu controlador.

Para as empresas, recomendo: definir claramente as permissões operacionais do agente, seguindo o princípio do “mínimo necessário”, proibindo o acesso a sistemas ou dados não relacionados à tarefa principal; para operações de alto risco, como contratos, pagamentos ou exclusão de dados, estabelecer etapas de “confirmação manual” obrigatórias, sem permitir automação total.

NBD: Se o agente impulsionado pelo OpenClaw cometer erros, como excluir dados por engano, fazer pedidos ou cotações incorretas, ou emitir declarações erradas, como deve ser feita a divisão de responsabilidades?

Bai Yaohua: Não há uma regra única; é necessário construir uma estrutura de análise de culpa em camadas, cujo núcleo é demonstrar a relação causal entre o dano e a conduta culposa de uma das partes (como falhas de projeto, negligência na gestão, comandos incorretos). Geralmente, envolve múltiplos responsáveis: o provedor do framework, o desenvolvedor do agente, o provedor de plugins e o usuário final.

Seguindo a jurisprudência, a divisão de responsabilidades pode seguir este raciocínio:

Primeiro, responsabilidade do provedor do framework/comunidade de código aberto. Normalmente, eles respondem apenas por vulnerabilidades conhecidas e não corrigidas do framework. Violação de licença de código aberto ou danos civis decorrentes de falhas do framework são questões distintas; se o erro não for devido a uma falha fundamental do framework, a responsabilidade pode ser limitada.

Segundo, responsabilidade do desenvolvedor/integradora do agente. São os mais prováveis de assumir a maior parte da responsabilidade. Devem cuidar do design lógico, configuração de permissões e testes de segurança. Se houver falhas de projeto (como não implementar confirmação dupla para exclusões), uso incorreto ou testes insuficientes, devem arcar com as consequências.

Terceiro, responsabilidade do provedor de plugins ou ferramentas externas. Se um plugin malicioso ou vulnerável causar erro, ele deve ser responsabilizado.

Quarto, responsabilidade do usuário final. O usuário tem o dever de supervisionar e usar de forma conforme, evitando comandos ambíguos, ignorando alertas de segurança ou não controlando permissões, devendo assumir as consequências.

Quinto, avaliação do escopo do dano. Se o agente for parte essencial do negócio (como trading automático), os prejuízos causados por erro podem precisar ser avaliados considerando o impacto geral na operação, não apenas o dano direto.

Minha recomendação: ao contratar ou adquirir agentes inteligentes, as empresas devem estabelecer cláusulas contratuais claras de responsabilidade, especialmente para perdas decorrentes de falhas de projeto ou algoritmos, incluindo mecanismos de indenização; além disso, manter logs detalhados de todas as operações, essenciais para posterior análise de culpa.

Se ocorrer vazamento de dados devido ao uso do OpenClaw, a responsabilidade pode ser solidária.

NBD: Como o uso de plugins, ferramentas externas, automação de navegador e ambientes de execução de código no OpenClaw traz riscos legais de segurança cibernética?

Bai Yaohua: Essa arquitetura altamente dependente de componentes externos amplia drasticamente a “superfície de ataque”, trazendo riscos de cadeia de suprimentos, vazamento de dados, responsabilidade conjunta por conformidade e violação de direitos de terceiros, podendo violar o sistema de proteção de níveis de segurança cibernética.

Analisando os principais riscos:

Primeiro, risco de ataque na cadeia de suprimentos. Plugins maliciosos ou ferramentas contaminadas podem atuar como “Cavalos de Troia”, levando ao roubo de dados ou controle do sistema. Segundo a Lei de Segurança Cibernética, provedores de produtos e serviços não devem inserir programas maliciosos. Se o usuário introduzir componentes inseguros, pode ser responsabilizado por não ter feito a devida diligência.

Segundo, risco de vazamento de dados e tratamento irregular. Plugins e automações podem coletar e transmitir dados sensíveis sem o conhecimento do usuário. Se não houver aviso claro ou consentimento, viola-se a Lei de Segurança de Dados e a Lei de Proteção de Informações Pessoais.

Terceiro, risco de responsabilidade conjunta por conformidade. Segundo a Lei de Segurança de Dados, os responsáveis pelo tratamento de dados devem estabelecer sistemas de gestão de segurança. Usar componentes externos implica que toda a atividade seja considerada uma única operação de tratamento de dados; uma vulnerabilidade de um componente pode gerar penalidades administrativas para toda a organização.

Quarto, risco de violação de direitos de terceiros. Operações automatizadas, como coleta massiva de dados, podem ultrapassar limites razoáveis, configurando acesso não autorizado a sites ou sistemas, podendo ser considerados ataques cibernéticos.

Para as empresas, recomendo: criar uma gestão rigorosa de plugins, usando apenas aqueles auditados e de fontes confiáveis; isolar o ambiente de execução (sandboxing), limitando o acesso à rede, para evitar que vulnerabilidades de um plugin comprometam a rede principal.

NBD: Para empresas que desejam usar o OpenClaw, que recomendações de conformidade você daria?

Bai Yaohua: As empresas devem adotar uma abordagem de “gestão de empregados digitais”, construindo um sistema de controle de risco que cubra avaliação de acesso, controle de permissões, auditoria de processos e planos de contingência, formalizando obrigações essenciais por meio de contratos.

Na fase de entrada, realizar uma due diligence aprofundada. Revisar licenças de código aberto do OpenClaw e plugins, verificar restrições comerciais, obrigações de código aberto; firmar contratos claros com fornecedores de personalizações, definindo padrões de funcionalidade, requisitos de segurança, propriedade intelectual, limites de responsabilidade e indenizações.

Na fase de implantação, aplicar o princípio do menor privilégio e isolamento. Conceder apenas as permissões necessárias para a tarefa específica, usando ambientes de teste isolados para operações de alto risco, só implantando após validação completa.

Na fase de operação, garantir registros completos e possibilidade de intervenção. Manter logs detalhados de decisões, ações e resultados do agente, com retenção por pelo menos seis meses, conforme a Lei de Segurança de Dados; estabelecer revisões manuais para operações sensíveis, como transações financeiras, contratos ou exclusões de dados; realizar avaliações periódicas de segurança e conformidade, incluindo atualizações de componentes de terceiros.

Além disso, preparar planos de contingência e seguro. Ter planos de resposta a incidentes, como comportamentos anormais do agente, e considerar seguros de cibersegurança ou responsabilidade civil para mitigar riscos de grandes indenizações.

Acredito que a direção tecnológica do OpenClaw é promissora, mas seus riscos jurídicos crescem exponencialmente. Para inovar com segurança, as empresas devem construir uma estrutura jurídica e de conformidade rigorosa, garantindo uma evolução sustentável.