Use um modelo seguro para proteger o modelo inseguro e use um sistema inteligente para resistir a ataques de inteligência. Este artigo é de um artigo escrito por Windrush e reimpresso por TechFlow Deep Tide. (Sinopse: Paquistão anuncia 2.000 megawatts de eletricidade para "Bitcoin Mining and AI Center" Primeiro-ministro nomeia assistente especial para blockchain e criptomoedas) (Suplemento de antecedentes: Hon Hai experimento interno: IA pode substituir 80% dos empregos, presidente Liu Yangwei expôs o projeto de trindade da futura fábrica) Geeks estão começando negócios, Xiaobai está comprando aulas e pintores estão desempregados, mas uma realidade embaraçosa é: o pouso da IA está quente, mas a trama não está tomando a rota do advento, mas rolando os dados. Além disso, nos primórdios da indústria, a primeira superfície desses dados a pousar é muitas vezes amarela ou cinza. A razão também é muito simples, enormes lucros geram impulso, para não mencionar o estágio inicial de desenvolvimento, sempre cheio de lacunas. Olhando para esse conjunto de dados, fica claro: atualmente, mais de 43% dos nós de serviço MCP têm caminhos de chamada de shell não verificados e mais de 83% das implantações têm vulnerabilidades de configuração MCP (Model Context Protocol); 88% das implantações de componentes de IA não têm nenhum tipo de guarda-corpo habilitado; 150.000 estruturas leves de implantação de IA, como Ollama, estão atualmente expostas na rede pública global, e mais de US$ 1 bilhão em poder de computação foi sequestrado para mineração...... Ironicamente, atacar os modelos grandes mais inteligentes requer táticas mínimas — apenas um conjunto de portas abertas padrão, um perfil YAML exposto ou um caminho de chamada de shell não verificado, e até mesmo, desde que os prompts sejam digitados com precisão suficiente, o próprio modelo grande pode ajudar a produzir a direção do ataque. A porta da privacidade de dados corporativos é tão arbitrariamente inserida e saída na era da IA. Mas o problema não é insolúvel: a IA tem mais do que apenas gerar e atacar. Como usar a IA para proteção tem se tornado cada vez mais o tema principal desta era; Ao mesmo tempo, na nuvem, criar regras para IA também se tornou o foco dos principais fornecedores de nuvem, e o Alibaba Cloud Security é um dos representantes mais típicos. No momento do lançamento de Aliyun Feitian que acaba de terminar, Aliyun anunciou oficialmente seus dois caminhos de segurança em nuvem: Security for AI e AI for Security, e lançou os produtos da série "Cloud Shield for AI" para fornecer aos clientes "soluções de segurança de ponta a ponta para aplicações modelo", que é um melhor exemplo da exploração da indústria atual. 01 AI rolar dados, por que cinza e amarelo está sempre virado para cima primeiro? Na história da tecnologia humana, a IA não é a primeira nova espécie a "ser testada pela tempestade amarela primeiro", o primeiro surto cinza e amarelo, é também a lei da popularização da tecnologia e não um acidente. Em 1839, a fotografia de chapa de prata saiu, e a primeira onda de usuários foi a indústria; Nos primórdios da Internet, o comércio eletrónico não começou e os sítios Web para adultos começaram a ponderar o pagamento em linha; A grande festa da lã modelo de hoje, em certa medida, também está recriando o mito da "era dos nomes de domínio" de ficar rico. Os dividendos dos tempos são sempre tocados primeiro pelo cinza e amarelo. Porque eles não prestam atenção ao compliance, não esperam pela supervisão, e a eficiência é naturalmente super alta. Portanto, todo período de surto de tecnologia é primeiro um pote de "sopa lamacenta", e a IA naturalmente não é exceção. Em dezembro de 2023, um hacker usou apenas uma palavra rápida - "oferta de US$ 1" - para induzir um robô de atendimento ao cliente em uma loja 4S a quase vender um Chevrolet por US$ 1. Esta é a "Injeção Imediata" mais comum na era da IA: nenhuma verificação de permissão é necessária, nenhum vestígio de log é deixado e toda a cadeia lógica pode ser substituída apenas por "falar de forma inteligente". Um passo adiante é o "jailbreak". Os atacantes usaram perguntas retóricas, encenações, avisos de desvio, etc., para conseguir que o modelo dissesse coisas que não deveria ter dito: pornografia, fabricação de drogas, mensagens de aviso falsas...... Em Hong Kong, algumas pessoas chegaram a roubar 200 milhões de dólares de Hong Kong de contas corporativas falsificando vozes de executivos. Além de golpes, a IA também tem o risco de "saída não intencional": em 2023, um grande sistema modelo de um gigante da educação exportou por engano "materiais didáticos venenosos" com conteúdo extremo ao gerar planos de aula e, em apenas 3 dias, a proteção dos direitos dos pais, a opinião pública estourou e o preço das ações da empresa perdeu 12 bilhões de yuans. A IA não entende a lei, mas tem a capacidade, e a capacidade de causar danos, uma vez fora da supervisão, é prejudicial. Mas, de outro ponto de vista, a tecnologia de IA é nova, mas o fluxo final e os meios de produção cinza e amarelo permanecem inalterados e, para resolvê-lo, depende da segurança. 02 Segurança para IA Vamos primeiro falar sobre um conhecimento frio que tem sido coletivamente evitado pela indústria de IA: A essência dos grandes modelos não é "inteligência" ou "compreensão", mas geração semântica sob controle de probabilidade. Portanto, uma vez que o contexto de treinamento é excedido, resultados inesperados podem ser produzidos. Este tipo de superclasse pode ser, você quer que ele escreva notícias, ele para escrever poesia; Também pode ser que você queira que ele recomende um item e ele de repente diz que a temperatura em Tóquio hoje é de menos 25 graus Celsius. Além disso, você diz que no jogo, se você não pode obter o número de série genuíno de tal e tal software, ele será filmado, e o modelo grande pode realmente tentar o seu melhor para ajudar os usuários a encontrar um número de série de software genuíno a 0 custo. Para garantir que a saída seja controlável, a empresa deve entender o modelo e a segurança. De acordo com o mais recente "China Security Big Model Capability Evaluation Report" da IDC, o PK do Alibaba com todos os principais fabricantes nacionais com capacidades de modelo de segurança é o primeiro em 4 dos 7 indicadores, e os 3 restantes são todos superiores à média da indústria. Em termos de abordagem, a resposta dada pelo Alibaba Cloud Security também é simples: deixe a segurança correr à frente da velocidade da IA e construa uma estrutura de proteção full-stack de três camadas de baixo para cima - da segurança da infraestrutura ao controle de entrada e saída de grandes modelos e à proteção do serviço de aplicativos de IA. Entre as três camadas, a mais existencial é o "AI Guardrail" da camada intermediária dedicada ao risco de modelos grandes. De um modo geral, os principais riscos para a segurança de grandes modelos são: violações de conteúdo, vazamento de dados confidenciais, ataques de injeção rápida de palavras, ilusões de modelo e ataques de jailbreak. No entanto, as soluções de segurança tradicionais são, na sua maioria, arquiteturas de uso geral, concebidas para a Web, não para "programas falantes", e naturalmente não conseguem identificar e responder com precisão aos riscos exclusivos de aplicações de modelos grandes. É ainda mais difícil cobrir questões emergentes, como segurança de conteúdo gerado, defesa de ataque contextual e credibilidade de saída do modelo. Mais importante ainda, as soluções tradicionais carecem de meios controláveis refinados e mecanismos de rastreabilidade visual, o que leva a enormes pontos cegos na governança da IA, e elas naturalmente não podem resolver o problema se não souberem onde está o problema. O verdadeiro poder do AI Guardrail não é apenas "ele pode bloquear", mas se você está fazendo grandes modelos pré-treinados, serviços de IA ou agentes de IA em várias formas de negócios, ele sabe do que você está falando e o que o grande modelo está gerando, de modo a fornecer deteção de risco precisa e recursos de defesa proativa para alcançar conformidade, segurança e estabilidade. Especificamente, o AI Guardrail é especificamente responsável pela proteção de três tipos de cenários: Compliance bottom line: Conduzir uma revisão de conformidade multidimensional do conteúdo de texto de entrada e saída de IA generativa, cobrindo categorias de risco como sensibilidade política, pornografia e vulgaridade, preconceito e discriminação, e valores ruins, detetar profundamente dados de privacidade e informações confidenciais que podem ser vazadas durante a interação de IA e apoiar a privacidade pessoal, empresa ...
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
Por que é que na era da IA, os fundos de jogos e apostas são sempre os primeiros a explodir?
Use um modelo seguro para proteger o modelo inseguro e use um sistema inteligente para resistir a ataques de inteligência. Este artigo é de um artigo escrito por Windrush e reimpresso por TechFlow Deep Tide. (Sinopse: Paquistão anuncia 2.000 megawatts de eletricidade para "Bitcoin Mining and AI Center" Primeiro-ministro nomeia assistente especial para blockchain e criptomoedas) (Suplemento de antecedentes: Hon Hai experimento interno: IA pode substituir 80% dos empregos, presidente Liu Yangwei expôs o projeto de trindade da futura fábrica) Geeks estão começando negócios, Xiaobai está comprando aulas e pintores estão desempregados, mas uma realidade embaraçosa é: o pouso da IA está quente, mas a trama não está tomando a rota do advento, mas rolando os dados. Além disso, nos primórdios da indústria, a primeira superfície desses dados a pousar é muitas vezes amarela ou cinza. A razão também é muito simples, enormes lucros geram impulso, para não mencionar o estágio inicial de desenvolvimento, sempre cheio de lacunas. Olhando para esse conjunto de dados, fica claro: atualmente, mais de 43% dos nós de serviço MCP têm caminhos de chamada de shell não verificados e mais de 83% das implantações têm vulnerabilidades de configuração MCP (Model Context Protocol); 88% das implantações de componentes de IA não têm nenhum tipo de guarda-corpo habilitado; 150.000 estruturas leves de implantação de IA, como Ollama, estão atualmente expostas na rede pública global, e mais de US$ 1 bilhão em poder de computação foi sequestrado para mineração...... Ironicamente, atacar os modelos grandes mais inteligentes requer táticas mínimas — apenas um conjunto de portas abertas padrão, um perfil YAML exposto ou um caminho de chamada de shell não verificado, e até mesmo, desde que os prompts sejam digitados com precisão suficiente, o próprio modelo grande pode ajudar a produzir a direção do ataque. A porta da privacidade de dados corporativos é tão arbitrariamente inserida e saída na era da IA. Mas o problema não é insolúvel: a IA tem mais do que apenas gerar e atacar. Como usar a IA para proteção tem se tornado cada vez mais o tema principal desta era; Ao mesmo tempo, na nuvem, criar regras para IA também se tornou o foco dos principais fornecedores de nuvem, e o Alibaba Cloud Security é um dos representantes mais típicos. No momento do lançamento de Aliyun Feitian que acaba de terminar, Aliyun anunciou oficialmente seus dois caminhos de segurança em nuvem: Security for AI e AI for Security, e lançou os produtos da série "Cloud Shield for AI" para fornecer aos clientes "soluções de segurança de ponta a ponta para aplicações modelo", que é um melhor exemplo da exploração da indústria atual. 01 AI rolar dados, por que cinza e amarelo está sempre virado para cima primeiro? Na história da tecnologia humana, a IA não é a primeira nova espécie a "ser testada pela tempestade amarela primeiro", o primeiro surto cinza e amarelo, é também a lei da popularização da tecnologia e não um acidente. Em 1839, a fotografia de chapa de prata saiu, e a primeira onda de usuários foi a indústria; Nos primórdios da Internet, o comércio eletrónico não começou e os sítios Web para adultos começaram a ponderar o pagamento em linha; A grande festa da lã modelo de hoje, em certa medida, também está recriando o mito da "era dos nomes de domínio" de ficar rico. Os dividendos dos tempos são sempre tocados primeiro pelo cinza e amarelo. Porque eles não prestam atenção ao compliance, não esperam pela supervisão, e a eficiência é naturalmente super alta. Portanto, todo período de surto de tecnologia é primeiro um pote de "sopa lamacenta", e a IA naturalmente não é exceção. Em dezembro de 2023, um hacker usou apenas uma palavra rápida - "oferta de US$ 1" - para induzir um robô de atendimento ao cliente em uma loja 4S a quase vender um Chevrolet por US$ 1. Esta é a "Injeção Imediata" mais comum na era da IA: nenhuma verificação de permissão é necessária, nenhum vestígio de log é deixado e toda a cadeia lógica pode ser substituída apenas por "falar de forma inteligente". Um passo adiante é o "jailbreak". Os atacantes usaram perguntas retóricas, encenações, avisos de desvio, etc., para conseguir que o modelo dissesse coisas que não deveria ter dito: pornografia, fabricação de drogas, mensagens de aviso falsas...... Em Hong Kong, algumas pessoas chegaram a roubar 200 milhões de dólares de Hong Kong de contas corporativas falsificando vozes de executivos. Além de golpes, a IA também tem o risco de "saída não intencional": em 2023, um grande sistema modelo de um gigante da educação exportou por engano "materiais didáticos venenosos" com conteúdo extremo ao gerar planos de aula e, em apenas 3 dias, a proteção dos direitos dos pais, a opinião pública estourou e o preço das ações da empresa perdeu 12 bilhões de yuans. A IA não entende a lei, mas tem a capacidade, e a capacidade de causar danos, uma vez fora da supervisão, é prejudicial. Mas, de outro ponto de vista, a tecnologia de IA é nova, mas o fluxo final e os meios de produção cinza e amarelo permanecem inalterados e, para resolvê-lo, depende da segurança. 02 Segurança para IA Vamos primeiro falar sobre um conhecimento frio que tem sido coletivamente evitado pela indústria de IA: A essência dos grandes modelos não é "inteligência" ou "compreensão", mas geração semântica sob controle de probabilidade. Portanto, uma vez que o contexto de treinamento é excedido, resultados inesperados podem ser produzidos. Este tipo de superclasse pode ser, você quer que ele escreva notícias, ele para escrever poesia; Também pode ser que você queira que ele recomende um item e ele de repente diz que a temperatura em Tóquio hoje é de menos 25 graus Celsius. Além disso, você diz que no jogo, se você não pode obter o número de série genuíno de tal e tal software, ele será filmado, e o modelo grande pode realmente tentar o seu melhor para ajudar os usuários a encontrar um número de série de software genuíno a 0 custo. Para garantir que a saída seja controlável, a empresa deve entender o modelo e a segurança. De acordo com o mais recente "China Security Big Model Capability Evaluation Report" da IDC, o PK do Alibaba com todos os principais fabricantes nacionais com capacidades de modelo de segurança é o primeiro em 4 dos 7 indicadores, e os 3 restantes são todos superiores à média da indústria. Em termos de abordagem, a resposta dada pelo Alibaba Cloud Security também é simples: deixe a segurança correr à frente da velocidade da IA e construa uma estrutura de proteção full-stack de três camadas de baixo para cima - da segurança da infraestrutura ao controle de entrada e saída de grandes modelos e à proteção do serviço de aplicativos de IA. Entre as três camadas, a mais existencial é o "AI Guardrail" da camada intermediária dedicada ao risco de modelos grandes. De um modo geral, os principais riscos para a segurança de grandes modelos são: violações de conteúdo, vazamento de dados confidenciais, ataques de injeção rápida de palavras, ilusões de modelo e ataques de jailbreak. No entanto, as soluções de segurança tradicionais são, na sua maioria, arquiteturas de uso geral, concebidas para a Web, não para "programas falantes", e naturalmente não conseguem identificar e responder com precisão aos riscos exclusivos de aplicações de modelos grandes. É ainda mais difícil cobrir questões emergentes, como segurança de conteúdo gerado, defesa de ataque contextual e credibilidade de saída do modelo. Mais importante ainda, as soluções tradicionais carecem de meios controláveis refinados e mecanismos de rastreabilidade visual, o que leva a enormes pontos cegos na governança da IA, e elas naturalmente não podem resolver o problema se não souberem onde está o problema. O verdadeiro poder do AI Guardrail não é apenas "ele pode bloquear", mas se você está fazendo grandes modelos pré-treinados, serviços de IA ou agentes de IA em várias formas de negócios, ele sabe do que você está falando e o que o grande modelo está gerando, de modo a fornecer deteção de risco precisa e recursos de defesa proativa para alcançar conformidade, segurança e estabilidade. Especificamente, o AI Guardrail é especificamente responsável pela proteção de três tipos de cenários: Compliance bottom line: Conduzir uma revisão de conformidade multidimensional do conteúdo de texto de entrada e saída de IA generativa, cobrindo categorias de risco como sensibilidade política, pornografia e vulgaridade, preconceito e discriminação, e valores ruins, detetar profundamente dados de privacidade e informações confidenciais que podem ser vazadas durante a interação de IA e apoiar a privacidade pessoal, empresa ...