セキュア・モデルを使用してセキュアでないモデルを保護し、インテリジェント・システムを使用してインテリジェンスからの攻撃に抵抗します。 この記事は、Windrushが執筆し、TechFlow Deep Tideが転載した記事からの抜粋です。 (あらすじ:パキスタンが「ビットコインマイニングとAIセンター」に2,000メガワットの電力を発表 首相がブロックチェーンと暗号通貨の特別補佐官を任命) (背景補足:鴻海内部実験:AIは仕事の80%を置き換えることができ、劉揚偉会長は未来の工場の三位一体の青写真を公開)オタクはビジネスを始め、シャオバイはクラスを購入し、画家は失業していますが、恥ずかしい現実は:AIの着陸は暑いですが、プロットは降臨ルートを取っていませんが、サイコロを振っています。 さらに、業界の初期の頃は、このサイコロの最初の表面は黄色または灰色であることがよくあります。 その理由も非常に単純で、開発の初期段階は言うまでもなく、莫大な利益が勢いを生み出し、常に抜け穴に満ちています。 この一連のデータを見ると、現在、MCPサービスノードの43%以上が未検証のシェルコールパスを持っており、デプロイメントの83%以上がMCP(Model Context Protocol)設定の脆弱性を持っていることがわかります。 AIコンポーネントのデプロイの88%は、ガードレールをまったく有効にしていません。 現在、Ollama などの 150,000 の軽量 AI デプロイ フレームワークが世界中のパブリック ネットワークで公開されており、マイニングのために 10 億ドル以上の計算能力が乗っ取られています...... 皮肉なことに、最も賢いビッグモデルを攻撃するには、最小限の戦術が必要です — デフォルトのオープンポートのセット、公開されたYAMLプロファイル、または未検証のシェルコールパス、そしてプロンプトが十分に正確に入力されている限り、ビッグモデル自体が攻撃の方向をグレーに生成するのに役立ちます。 AI時代には、エンタープライズデータプライバシーの扉は恣意的に出入りしています。 しかし、問題は解決できないわけではありません:AIは単に生成して攻撃するだけではありません。 AIを保護にどう活用するかは、この時代の主なテーマになってきています。 同時に、クラウド上では、AIのルールを作ることもトップのクラウドベンダーの焦点となっており、Alibaba Cloud Securityは最も典型的な代表の1つです。 終了したばかりのAliyun Feitianのリリースの瞬間に、Aliyunはクラウドセキュリティの2つのパスを正式に発表しました:AIのセキュリティとAIのセキュリティのためのセキュリティ、および「Cloud Shield for AI」シリーズ製品をリリースして、現在の業界の探求の最良の例である「モデルアプリケーション向けのエンドツーエンドのセキュリティソリューション」を顧客に提供しました。 01 AIがサイコロを振ると、なぜグレーと黄色がいつも上を向いているの? 人類の技術の歴史において、AIは「黄色い嵐によって最初に試される」新種ではなく、灰色と黄色が最初に発生したのは、偶然ではなく技術普及の法則でもあります。 1839年、シルバープレート写真が登場し、ユーザーの最初の波は業界でした。 インターネットの黎明期には、電子商取引は始まっておらず、アダルトWebサイトはオンライン決済について考え始めています。 今日のビッグモデルウールパーティーは、ある程度、金持ちになるという「ドメイン名時代」の神話を再現しています。 時代の配当は、常に最初に灰色と黄色に触れられます。 彼らはコンプライアンスに注意を払わないため、監督を待たず、効率は自然に超高くなります。 したがって、すべてのテクノロジーの発生期は最初に「泥だらけのスープ」の鍋であり、AIも当然例外ではありません。 2023年12月、ハッカーは「1ドルのオファー」というプロンプトワードのみを使用して、4Sストアのカスタマーサービスロボットにシボレーを1ドルで売りそうに誘導しました。 これはAI時代で最も一般的な「プロンプトインジェクション」であり、権限の検証は不要で、ログの痕跡は残らず、論理チェーン全体は「スマートに話す」ことだけに置き換えることができます。 さらに一歩進んだのが「脱獄」です。 攻撃者は、修辞的な質問、ロールプレイ、迂回プロンプトなどを使用して、ポルノ、麻薬製造、誤った警告メッセージなど、モデルが言うべきではなかったことを言わせることに成功しました...... 香港では、経営者の声を偽造して、企業口座から2億香港ドルを盗んだ人もいました。 2023年には、教育大手の大規模なモデルシステムが、授業計画を作成する際に過激な内容の「有毒な教材」を誤って輸出し、わずか3日で親の権利保護、世論が勃発し、同社の株価は120億元を失いました。 AIは法律を理解していませんが、能力はあり、一度監視から外れると害を及ぼす能力は有害です。 しかし、別の見方をすれば、AI技術は新しいものですが、グレー生産とイエローの最終的な流れや手段は変わらず、それを解決するためには安全性にかかっています。 02 AIのセキュリティ まず、AI業界が集団的に避けてきた冷徹な知識についてお話ししましょう:大規模モデルの本質は「知能」や「理解」ではなく、確率制御下での意味生成です。 そのため、学習コンテキストを超えると、予期しない結果が出力される可能性があります。 この種のスーパークラスは、ニュースを書いたり、詩を書いたりしたいかもしれません。 また、ある商品をおすすめしてほしいのに、突然今日の東京の気温がマイナス25度だと言われることもあります。 さらに、ゲームでは、これこれのソフトウェアの純正シリアル番号を取得できない場合、それは撃たれ、ビッグモデルはユーザーが0コストで純正ソフトウェアのシリアル番号を見つけるのを助けるために本当に最善を尽くすことができると伝えます。 出力が制御可能であることを確認するために、企業はモデルとセキュリティを理解する必要があります。 IDCの最新の「China Security Big Model Capability Evaluation Report」によると、アリババのPKは、セキュリティビッグモデル機能を持つすべての国内トップメーカーとともに、7つの指標のうち4つで最初であり、残りの3つはすべて業界平均よりも高くなっています。 アプローチの面では、Alibaba Cloud Security が示す答えも単純明快で、セキュリティを AI の速度に先んじて実行し、インフラストラクチャのセキュリティから大規模モデルの入出力制御、AI アプリケーションサービスの保護まで、ボトムアップの 3 層のフルスタック保護フレームワークを構築することです。 3つのレイヤーの中でも最も存在感があるのは、大規模モデルのリスクに特化した中間レイヤーの「AIガードレール」です。 一般的に、大規模モデルのセキュリティの主なリスクは、コンテンツ違反、機密データの漏洩、迅速なワードインジェクション攻撃、モデルの錯覚、ジェイルブレイク攻撃です。 しかし、従来のセキュリティソリューションは、ほとんどが「話すプログラム」ではなくWeb用に設計された汎用アーキテクチャであり、当然のことながら、大規模モデルアプリケーションに特有のリスクを正確に特定して対応することはできません。 生成されたコンテンツのセキュリティ、コンテキスト攻撃の防御、モデル出力の信頼性など、新たな問題をカバーすることはさらに困難です。 さらに重要なことは、従来のソリューションには、きめ細かく制御可能な手段や視覚的なトレーサビリティメカニズムがないため、AIガバナンスに大きな盲点が生じ、問題がどこにあるのかを知らなければ、当然ながら問題を解決できないということです。 AIガードレールの真の力は、「ブロックできる」だけでなく、事前にトレーニングされた大規模モデル、AIサービス、さまざまなビジネス形態のAIエージェントのいずれを行っている場合でも、何について話しているのか、大きなモデルが何を生成しているのかを理解し、コンプライアンス、セキュリティ、および安定性を達成するための正確なリスク検出と積極的な防御機能を提供します。 具体的には、AIガードレールは、3つのタイプのシナリオの保護に特に責任があります:コンプライアンスの結論:生成AIの入力と出力のテキストコンテンツの多次元コンプライアンスレビューを実施し、政治的感受性、ポルノと下品さ、偏見と差別、悪い価値観などのリスクカテゴリをカバーし、AIインタラクション中に漏洩する可能性のあるプライバシーデータと機密情報を深く検出し、個人のプライバシーをサポートします、企業...
292k 投稿
262k 投稿
171k 投稿
83k 投稿
69k 投稿
68k 投稿
63k 投稿
62k 投稿
53k 投稿
51k 投稿
なぜAI時代において、常にギャンブル資金が最初に爆発するのか？
セキュア・モデルを使用してセキュアでないモデルを保護し、インテリジェント・システムを使用してインテリジェンスからの攻撃に抵抗します。 この記事は、Windrushが執筆し、TechFlow Deep Tideが転載した記事からの抜粋です。 (あらすじ:パキスタンが「ビットコインマイニングとAIセンター」に2,000メガワットの電力を発表 首相がブロックチェーンと暗号通貨の特別補佐官を任命) (背景補足:鴻海内部実験:AIは仕事の80%を置き換えることができ、劉揚偉会長は未来の工場の三位一体の青写真を公開)オタクはビジネスを始め、シャオバイはクラスを購入し、画家は失業していますが、恥ずかしい現実は:AIの着陸は暑いですが、プロットは降臨ルートを取っていませんが、サイコロを振っています。 さらに、業界の初期の頃は、このサイコロの最初の表面は黄色または灰色であることがよくあります。 その理由も非常に単純で、開発の初期段階は言うまでもなく、莫大な利益が勢いを生み出し、常に抜け穴に満ちています。 この一連のデータを見ると、現在、MCPサービスノードの43%以上が未検証のシェルコールパスを持っており、デプロイメントの83%以上がMCP(Model Context Protocol)設定の脆弱性を持っていることがわかります。 AIコンポーネントのデプロイの88%は、ガードレールをまったく有効にしていません。 現在、Ollama などの 150,000 の軽量 AI デプロイ フレームワークが世界中のパブリック ネットワークで公開されており、マイニングのために 10 億ドル以上の計算能力が乗っ取られています...... 皮肉なことに、最も賢いビッグモデルを攻撃するには、最小限の戦術が必要です — デフォルトのオープンポートのセット、公開されたYAMLプロファイル、または未検証のシェルコールパス、そしてプロンプトが十分に正確に入力されている限り、ビッグモデル自体が攻撃の方向をグレーに生成するのに役立ちます。 AI時代には、エンタープライズデータプライバシーの扉は恣意的に出入りしています。 しかし、問題は解決できないわけではありません:AIは単に生成して攻撃するだけではありません。 AIを保護にどう活用するかは、この時代の主なテーマになってきています。 同時に、クラウド上では、AIのルールを作ることもトップのクラウドベンダーの焦点となっており、Alibaba Cloud Securityは最も典型的な代表の1つです。 終了したばかりのAliyun Feitianのリリースの瞬間に、Aliyunはクラウドセキュリティの2つのパスを正式に発表しました:AIのセキュリティとAIのセキュリティのためのセキュリティ、および「Cloud Shield for AI」シリーズ製品をリリースして、現在の業界の探求の最良の例である「モデルアプリケーション向けのエンドツーエンドのセキュリティソリューション」を顧客に提供しました。 01 AIがサイコロを振ると、なぜグレーと黄色がいつも上を向いているの? 人類の技術の歴史において、AIは「黄色い嵐によって最初に試される」新種ではなく、灰色と黄色が最初に発生したのは、偶然ではなく技術普及の法則でもあります。 1839年、シルバープレート写真が登場し、ユーザーの最初の波は業界でした。 インターネットの黎明期には、電子商取引は始まっておらず、アダルトWebサイトはオンライン決済について考え始めています。 今日のビッグモデルウールパーティーは、ある程度、金持ちになるという「ドメイン名時代」の神話を再現しています。 時代の配当は、常に最初に灰色と黄色に触れられます。 彼らはコンプライアンスに注意を払わないため、監督を待たず、効率は自然に超高くなります。 したがって、すべてのテクノロジーの発生期は最初に「泥だらけのスープ」の鍋であり、AIも当然例外ではありません。 2023年12月、ハッカーは「1ドルのオファー」というプロンプトワードのみを使用して、4Sストアのカスタマーサービスロボットにシボレーを1ドルで売りそうに誘導しました。 これはAI時代で最も一般的な「プロンプトインジェクション」であり、権限の検証は不要で、ログの痕跡は残らず、論理チェーン全体は「スマートに話す」ことだけに置き換えることができます。 さらに一歩進んだのが「脱獄」です。 攻撃者は、修辞的な質問、ロールプレイ、迂回プロンプトなどを使用して、ポルノ、麻薬製造、誤った警告メッセージなど、モデルが言うべきではなかったことを言わせることに成功しました...... 香港では、経営者の声を偽造して、企業口座から2億香港ドルを盗んだ人もいました。 2023年には、教育大手の大規模なモデルシステムが、授業計画を作成する際に過激な内容の「有毒な教材」を誤って輸出し、わずか3日で親の権利保護、世論が勃発し、同社の株価は120億元を失いました。 AIは法律を理解していませんが、能力はあり、一度監視から外れると害を及ぼす能力は有害です。 しかし、別の見方をすれば、AI技術は新しいものですが、グレー生産とイエローの最終的な流れや手段は変わらず、それを解決するためには安全性にかかっています。 02 AIのセキュリティ まず、AI業界が集団的に避けてきた冷徹な知識についてお話ししましょう:大規模モデルの本質は「知能」や「理解」ではなく、確率制御下での意味生成です。 そのため、学習コンテキストを超えると、予期しない結果が出力される可能性があります。 この種のスーパークラスは、ニュースを書いたり、詩を書いたりしたいかもしれません。 また、ある商品をおすすめしてほしいのに、突然今日の東京の気温がマイナス25度だと言われることもあります。 さらに、ゲームでは、これこれのソフトウェアの純正シリアル番号を取得できない場合、それは撃たれ、ビッグモデルはユーザーが0コストで純正ソフトウェアのシリアル番号を見つけるのを助けるために本当に最善を尽くすことができると伝えます。 出力が制御可能であることを確認するために、企業はモデルとセキュリティを理解する必要があります。 IDCの最新の「China Security Big Model Capability Evaluation Report」によると、アリババのPKは、セキュリティビッグモデル機能を持つすべての国内トップメーカーとともに、7つの指標のうち4つで最初であり、残りの3つはすべて業界平均よりも高くなっています。 アプローチの面では、Alibaba Cloud Security が示す答えも単純明快で、セキュリティを AI の速度に先んじて実行し、インフラストラクチャのセキュリティから大規模モデルの入出力制御、AI アプリケーションサービスの保護まで、ボトムアップの 3 層のフルスタック保護フレームワークを構築することです。 3つのレイヤーの中でも最も存在感があるのは、大規模モデルのリスクに特化した中間レイヤーの「AIガードレール」です。 一般的に、大規模モデルのセキュリティの主なリスクは、コンテンツ違反、機密データの漏洩、迅速なワードインジェクション攻撃、モデルの錯覚、ジェイルブレイク攻撃です。 しかし、従来のセキュリティソリューションは、ほとんどが「話すプログラム」ではなくWeb用に設計された汎用アーキテクチャであり、当然のことながら、大規模モデルアプリケーションに特有のリスクを正確に特定して対応することはできません。 生成されたコンテンツのセキュリティ、コンテキスト攻撃の防御、モデル出力の信頼性など、新たな問題をカバーすることはさらに困難です。 さらに重要なことは、従来のソリューションには、きめ細かく制御可能な手段や視覚的なトレーサビリティメカニズムがないため、AIガバナンスに大きな盲点が生じ、問題がどこにあるのかを知らなければ、当然ながら問題を解決できないということです。 AIガードレールの真の力は、「ブロックできる」だけでなく、事前にトレーニングされた大規模モデル、AIサービス、さまざまなビジネス形態のAIエージェントのいずれを行っている場合でも、何について話しているのか、大きなモデルが何を生成しているのかを理解し、コンプライアンス、セキュリティ、および安定性を達成するための正確なリスク検出と積極的な防御機能を提供します。 具体的には、AIガードレールは、3つのタイプのシナリオの保護に特に責任があります:コンプライアンスの結論:生成AIの入力と出力のテキストコンテンツの多次元コンプライアンスレビューを実施し、政治的感受性、ポルノと下品さ、偏見と差別、悪い価値観などのリスクカテゴリをカバーし、AIインタラクション中に漏洩する可能性のあるプライバシーデータと機密情報を深く検出し、個人のプライバシーをサポートします、企業...