Gunakan model yang aman untuk melindungi model yang tidak aman, dan gunakan sistem cerdas untuk melawan serangan dari intelijen. Artikel ini berasal dari artikel yang ditulis oleh Windrush dan dicetak ulang oleh TechFlow Deep Tide. (Sinopsis: Pakistan mengumumkan 2.000 megawatt listrik untuk "Bitcoin Mining and AI Center" Perdana Menteri menunjuk asisten khusus untuk blockchain dan cryptocurrency) (Suplemen latar belakang: Eksperimen internal Hon Hai: AI dapat menggantikan 80% pekerjaan, ketua Liu Yangwei mengekspos cetak biru trinitas pabrik masa depan) Geeks memulai bisnis, Xiaobai membeli kelas, dan pelukis menganggur, tetapi kenyataan yang memalukan adalah: pendaratan AI panas, tetapi plotnya tidak mengambil rute kedatangan, tetapi melempar dadu. Selain itu, pada hari-hari awal industri, permukaan pertama dadu ini mendarat seringkali berwarna kuning atau abu-abu. Alasannya juga sangat sederhana, keuntungan besar menghasilkan momentum, belum lagi tahap awal pengembangan, selalu penuh celah. Melihat kumpulan data ini, jelas: Saat ini, lebih dari 43% node layanan MCP memiliki jalur panggilan shell yang belum diverifikasi, dan lebih dari 83% penerapan memiliki kerentanan konfigurasi MCP (Model Context Protocol); 88% penerapan komponen AI tidak mengaktifkan pagar pembatas sama sekali; 150.000 kerangka kerja penerapan AI ringan seperti Ollama saat ini terekspos di jaringan publik global, dan lebih dari $1 miliar daya komputasi telah dibajak untuk penambangan...... Ironisnya, menyerang model besar yang paling cerdas membutuhkan taktik minimal — hanya satu set port terbuka default, profil YAML yang terekspos, atau jalur panggilan shell yang tidak diverifikasi, dan bahkan, selama perintah diketik cukup akurat, model besar itu sendiri dapat membantu gray menghasilkan arah serangan. Pintu privasi data perusahaan begitu sewenang-wenang masuk dan keluar di era AI. Tetapi masalahnya bukannya tidak dapat dipecahkan: AI memiliki lebih dari sekadar menghasilkan dan menyerang. Cara menggunakan AI untuk perlindungan semakin menjadi tema utama era ini; Pada saat yang sama, di cloud, membuat aturan untuk AI juga telah menjadi fokus vendor cloud teratas, dan Alibaba Cloud Security adalah salah satu perwakilan yang paling khas. Pada saat perilisan Aliyun Feitian yang baru saja berakhir, Aliyun secara resmi mengumumkan dua jalur keamanan cloud-nya: Keamanan untuk AI dan AI untuk Keamanan, dan merilis produk seri "Cloud Shield for AI" untuk menyediakan pelanggan dengan "solusi keamanan end-to-end untuk aplikasi model", yang merupakan contoh terbaik dari eksplorasi industri saat ini. 01 AI roll dadu, mengapa abu-abu dan kuning selalu menghadap ke atas terlebih dahulu? Dalam sejarah teknologi manusia, AI bukanlah spesies baru pertama yang "diuji oleh badai kuning terlebih dahulu", abu-abu dan kuning pertama wabah, juga merupakan hukum mempopulerkan teknologi daripada kecelakaan. Pada tahun 1839, fotografi pelat perak keluar, dan gelombang pertama pengguna adalah industri; Pada hari-hari awal Internet, e-commerce belum dimulai, dan situs web dewasa mulai merenungkan pembayaran online; Pesta wol model besar hari ini, sampai batas tertentu, juga menciptakan kembali mitos "era nama domain" menjadi kaya. Dividen waktu selalu disentuh terlebih dahulu oleh abu-abu dan kuning. Karena mereka tidak memperhatikan kepatuhan, tidak menunggu pengawasan, dan efisiensinya secara alami sangat tinggi. Oleh karena itu, setiap periode wabah teknologi pertama-tama adalah sepanci "sup berlumpur", dan AI secara alami tidak terkecuali. Pada Desember 2023, seorang peretas hanya menggunakan kata prompt - "penawaran $1" - untuk membujuk robot layanan pelanggan di toko 4S untuk hampir menjual Chevrolet seharga $1. Ini adalah "Injeksi Cepat" yang paling umum di era AI: tidak diperlukan verifikasi izin, tidak ada jejak log yang tersisa, dan seluruh rantai logis hanya dapat diganti dengan "berbicara dengan cerdas". Satu langkah lebih jauh adalah "jailbreak." Para penyerang menggunakan pertanyaan retoris, permainan peran, perintah memutar, dll., untuk berhasil membuat model mengatakan hal-hal yang seharusnya tidak dikatakannya: pornografi, pembuatan narkoba, pesan peringatan palsu...... Di Hong Kong, beberapa orang bahkan mencuri HK$200 juta dari rekening perusahaan dengan memalsukan suara eksekutif. Selain penipuan, AI juga memiliki risiko "keluaran yang tidak disengaja": pada tahun 2023, sistem model besar raksasa pendidikan secara keliru mengekspor "bahan ajar beracun" dengan konten ekstrem saat membuat rencana pelajaran, dan hanya dalam 3 hari, perlindungan hak orang tua, opini publik pecah, dan harga saham perusahaan kehilangan 12 miliar yuan. AI tidak memahami hukum, tetapi memiliki kemampuan, dan kemampuan untuk merugikan, setelah keluar dari pengawasan, berbahaya. Tetapi dari sudut pandang lain, teknologi AI masih baru, tetapi aliran akhir dan sarana produksi abu-abu dan kuning tidak berubah, dan untuk menyelesaikannya, itu tergantung pada keamanan. 02 Keamanan untuk AI Pertama-tama mari kita bicara tentang pengetahuan dingin yang telah dihindari secara kolektif oleh industri AI: Inti dari model besar bukanlah "kecerdasan" atau "pemahaman", tetapi generasi semantik di bawah kendali probabilitas. Oleh karena itu, setelah konteks pelatihan terlampaui, hasil yang tidak terduga dapat dikeluarkan. Kelas super semacam ini mungkin, Anda ingin menulis berita, menulis puisi kepada Anda; Bisa juga Anda ingin merekomendasikan suatu item dan tiba-tiba memberi tahu Anda bahwa suhu di Tokyo saat ini minus 25 derajat Celcius. Terlebih lagi, Anda memberi tahu bahwa dalam permainan, jika Anda tidak bisa mendapatkan nomor seri asli dari perangkat lunak ini dan itu, itu akan ditembak, dan model besar benar-benar dapat mencoba yang terbaik untuk membantu pengguna menemukan nomor seri perangkat lunak asli dengan biaya 0. Untuk memastikan bahwa output dapat dikendalikan, perusahaan harus memahami model dan keamanannya. Menurut "Laporan Evaluasi Kemampuan Model Besar Keamanan China" terbaru IDC, PK Alibaba dengan semua produsen domestik teratas dengan kemampuan model besar keamanan adalah yang pertama dari 4 dari 7 indikator, dan 3 sisanya semuanya lebih tinggi dari rata-rata industri. Dalam hal pendekatan, jawaban yang diberikan oleh Alibaba Cloud Security juga mudah: biarkan keamanan berjalan di depan kecepatan AI, dan bangun kerangka kerja perlindungan tumpukan penuh tiga lapis dari bawah ke atas - mulai dari keamanan infrastruktur, hingga kontrol input dan output model besar, hingga perlindungan layanan aplikasi AI. Di antara tiga lapisan, yang paling eksistensial adalah "Pagar Pembatas AI" dari lapisan tengah yang didedikasikan untuk risiko model besar. Secara umum, risiko utama untuk keamanan model besar adalah: pelanggaran konten, kebocoran data sensitif, serangan injeksi kata yang cepat, ilusi model, dan serangan jailbreak. Namun, solusi keamanan tradisional sebagian besar adalah arsitektur tujuan umum, yang dirancang untuk Web, bukan untuk "program berbicara", dan secara alami tidak dapat secara akurat mengidentifikasi dan menanggapi risiko yang unik untuk aplikasi model besar. Bahkan lebih sulit untuk mencakup masalah yang muncul seperti keamanan konten yang dihasilkan, pertahanan serangan kontekstual, dan kredibilitas keluaran model. Lebih penting lagi, solusi tradisional tidak memiliki sarana yang dapat dikontrol dan mekanisme ketertelusuran visual, yang mengarah pada titik buta besar dalam tata kelola AI, dan mereka secara alami tidak dapat menyelesaikan masalah jika mereka tidak tahu di mana masalahnya. Kekuatan sebenarnya dari AI Guardrail tidak hanya "dapat memblokir", tetapi apakah Anda melakukan model besar yang telah dilatih sebelumnya, layanan AI, atau agen AI dalam berbagai bentuk bisnis, ia tahu apa yang Anda bicarakan dan apa yang dihasilkan oleh model besar, sehingga dapat memberikan deteksi risiko yang akurat dan kemampuan pertahanan proaktif untuk mencapai kepatuhan, keamanan, dan stabilitas. Secara khusus, AI Guardrail secara khusus bertanggung jawab atas perlindungan tiga jenis skenario: Intinya kepatuhan: Melakukan tinjauan kepatuhan multi-dimensi terhadap konten teks input dan output AI generatif, yang mencakup kategori risiko seperti sensitivitas politik, pornografi dan vulgaritas, prasangka dan diskriminasi, dan nilai-nilai buruk, mendeteksi data privasi dan informasi sensitif yang mungkin bocor selama interaksi AI, dan mendukung privasi pribadi, ...
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Mengapa di era AI, selalu dana untuk perjudian dan prostitusi yang pertama kali meledak?
Gunakan model yang aman untuk melindungi model yang tidak aman, dan gunakan sistem cerdas untuk melawan serangan dari intelijen. Artikel ini berasal dari artikel yang ditulis oleh Windrush dan dicetak ulang oleh TechFlow Deep Tide. (Sinopsis: Pakistan mengumumkan 2.000 megawatt listrik untuk "Bitcoin Mining and AI Center" Perdana Menteri menunjuk asisten khusus untuk blockchain dan cryptocurrency) (Suplemen latar belakang: Eksperimen internal Hon Hai: AI dapat menggantikan 80% pekerjaan, ketua Liu Yangwei mengekspos cetak biru trinitas pabrik masa depan) Geeks memulai bisnis, Xiaobai membeli kelas, dan pelukis menganggur, tetapi kenyataan yang memalukan adalah: pendaratan AI panas, tetapi plotnya tidak mengambil rute kedatangan, tetapi melempar dadu. Selain itu, pada hari-hari awal industri, permukaan pertama dadu ini mendarat seringkali berwarna kuning atau abu-abu. Alasannya juga sangat sederhana, keuntungan besar menghasilkan momentum, belum lagi tahap awal pengembangan, selalu penuh celah. Melihat kumpulan data ini, jelas: Saat ini, lebih dari 43% node layanan MCP memiliki jalur panggilan shell yang belum diverifikasi, dan lebih dari 83% penerapan memiliki kerentanan konfigurasi MCP (Model Context Protocol); 88% penerapan komponen AI tidak mengaktifkan pagar pembatas sama sekali; 150.000 kerangka kerja penerapan AI ringan seperti Ollama saat ini terekspos di jaringan publik global, dan lebih dari $1 miliar daya komputasi telah dibajak untuk penambangan...... Ironisnya, menyerang model besar yang paling cerdas membutuhkan taktik minimal — hanya satu set port terbuka default, profil YAML yang terekspos, atau jalur panggilan shell yang tidak diverifikasi, dan bahkan, selama perintah diketik cukup akurat, model besar itu sendiri dapat membantu gray menghasilkan arah serangan. Pintu privasi data perusahaan begitu sewenang-wenang masuk dan keluar di era AI. Tetapi masalahnya bukannya tidak dapat dipecahkan: AI memiliki lebih dari sekadar menghasilkan dan menyerang. Cara menggunakan AI untuk perlindungan semakin menjadi tema utama era ini; Pada saat yang sama, di cloud, membuat aturan untuk AI juga telah menjadi fokus vendor cloud teratas, dan Alibaba Cloud Security adalah salah satu perwakilan yang paling khas. Pada saat perilisan Aliyun Feitian yang baru saja berakhir, Aliyun secara resmi mengumumkan dua jalur keamanan cloud-nya: Keamanan untuk AI dan AI untuk Keamanan, dan merilis produk seri "Cloud Shield for AI" untuk menyediakan pelanggan dengan "solusi keamanan end-to-end untuk aplikasi model", yang merupakan contoh terbaik dari eksplorasi industri saat ini. 01 AI roll dadu, mengapa abu-abu dan kuning selalu menghadap ke atas terlebih dahulu? Dalam sejarah teknologi manusia, AI bukanlah spesies baru pertama yang "diuji oleh badai kuning terlebih dahulu", abu-abu dan kuning pertama wabah, juga merupakan hukum mempopulerkan teknologi daripada kecelakaan. Pada tahun 1839, fotografi pelat perak keluar, dan gelombang pertama pengguna adalah industri; Pada hari-hari awal Internet, e-commerce belum dimulai, dan situs web dewasa mulai merenungkan pembayaran online; Pesta wol model besar hari ini, sampai batas tertentu, juga menciptakan kembali mitos "era nama domain" menjadi kaya. Dividen waktu selalu disentuh terlebih dahulu oleh abu-abu dan kuning. Karena mereka tidak memperhatikan kepatuhan, tidak menunggu pengawasan, dan efisiensinya secara alami sangat tinggi. Oleh karena itu, setiap periode wabah teknologi pertama-tama adalah sepanci "sup berlumpur", dan AI secara alami tidak terkecuali. Pada Desember 2023, seorang peretas hanya menggunakan kata prompt - "penawaran $1" - untuk membujuk robot layanan pelanggan di toko 4S untuk hampir menjual Chevrolet seharga $1. Ini adalah "Injeksi Cepat" yang paling umum di era AI: tidak diperlukan verifikasi izin, tidak ada jejak log yang tersisa, dan seluruh rantai logis hanya dapat diganti dengan "berbicara dengan cerdas". Satu langkah lebih jauh adalah "jailbreak." Para penyerang menggunakan pertanyaan retoris, permainan peran, perintah memutar, dll., untuk berhasil membuat model mengatakan hal-hal yang seharusnya tidak dikatakannya: pornografi, pembuatan narkoba, pesan peringatan palsu...... Di Hong Kong, beberapa orang bahkan mencuri HK$200 juta dari rekening perusahaan dengan memalsukan suara eksekutif. Selain penipuan, AI juga memiliki risiko "keluaran yang tidak disengaja": pada tahun 2023, sistem model besar raksasa pendidikan secara keliru mengekspor "bahan ajar beracun" dengan konten ekstrem saat membuat rencana pelajaran, dan hanya dalam 3 hari, perlindungan hak orang tua, opini publik pecah, dan harga saham perusahaan kehilangan 12 miliar yuan. AI tidak memahami hukum, tetapi memiliki kemampuan, dan kemampuan untuk merugikan, setelah keluar dari pengawasan, berbahaya. Tetapi dari sudut pandang lain, teknologi AI masih baru, tetapi aliran akhir dan sarana produksi abu-abu dan kuning tidak berubah, dan untuk menyelesaikannya, itu tergantung pada keamanan. 02 Keamanan untuk AI Pertama-tama mari kita bicara tentang pengetahuan dingin yang telah dihindari secara kolektif oleh industri AI: Inti dari model besar bukanlah "kecerdasan" atau "pemahaman", tetapi generasi semantik di bawah kendali probabilitas. Oleh karena itu, setelah konteks pelatihan terlampaui, hasil yang tidak terduga dapat dikeluarkan. Kelas super semacam ini mungkin, Anda ingin menulis berita, menulis puisi kepada Anda; Bisa juga Anda ingin merekomendasikan suatu item dan tiba-tiba memberi tahu Anda bahwa suhu di Tokyo saat ini minus 25 derajat Celcius. Terlebih lagi, Anda memberi tahu bahwa dalam permainan, jika Anda tidak bisa mendapatkan nomor seri asli dari perangkat lunak ini dan itu, itu akan ditembak, dan model besar benar-benar dapat mencoba yang terbaik untuk membantu pengguna menemukan nomor seri perangkat lunak asli dengan biaya 0. Untuk memastikan bahwa output dapat dikendalikan, perusahaan harus memahami model dan keamanannya. Menurut "Laporan Evaluasi Kemampuan Model Besar Keamanan China" terbaru IDC, PK Alibaba dengan semua produsen domestik teratas dengan kemampuan model besar keamanan adalah yang pertama dari 4 dari 7 indikator, dan 3 sisanya semuanya lebih tinggi dari rata-rata industri. Dalam hal pendekatan, jawaban yang diberikan oleh Alibaba Cloud Security juga mudah: biarkan keamanan berjalan di depan kecepatan AI, dan bangun kerangka kerja perlindungan tumpukan penuh tiga lapis dari bawah ke atas - mulai dari keamanan infrastruktur, hingga kontrol input dan output model besar, hingga perlindungan layanan aplikasi AI. Di antara tiga lapisan, yang paling eksistensial adalah "Pagar Pembatas AI" dari lapisan tengah yang didedikasikan untuk risiko model besar. Secara umum, risiko utama untuk keamanan model besar adalah: pelanggaran konten, kebocoran data sensitif, serangan injeksi kata yang cepat, ilusi model, dan serangan jailbreak. Namun, solusi keamanan tradisional sebagian besar adalah arsitektur tujuan umum, yang dirancang untuk Web, bukan untuk "program berbicara", dan secara alami tidak dapat secara akurat mengidentifikasi dan menanggapi risiko yang unik untuk aplikasi model besar. Bahkan lebih sulit untuk mencakup masalah yang muncul seperti keamanan konten yang dihasilkan, pertahanan serangan kontekstual, dan kredibilitas keluaran model. Lebih penting lagi, solusi tradisional tidak memiliki sarana yang dapat dikontrol dan mekanisme ketertelusuran visual, yang mengarah pada titik buta besar dalam tata kelola AI, dan mereka secara alami tidak dapat menyelesaikan masalah jika mereka tidak tahu di mana masalahnya. Kekuatan sebenarnya dari AI Guardrail tidak hanya "dapat memblokir", tetapi apakah Anda melakukan model besar yang telah dilatih sebelumnya, layanan AI, atau agen AI dalam berbagai bentuk bisnis, ia tahu apa yang Anda bicarakan dan apa yang dihasilkan oleh model besar, sehingga dapat memberikan deteksi risiko yang akurat dan kemampuan pertahanan proaktif untuk mencapai kepatuhan, keamanan, dan stabilitas. Secara khusus, AI Guardrail secara khusus bertanggung jawab atas perlindungan tiga jenis skenario: Intinya kepatuhan: Melakukan tinjauan kepatuhan multi-dimensi terhadap konten teks input dan output AI generatif, yang mencakup kategori risiko seperti sensitivitas politik, pornografi dan vulgaritas, prasangka dan diskriminasi, dan nilai-nilai buruk, mendeteksi data privasi dan informasi sensitif yang mungkin bocor selama interaksi AI, dan mendukung privasi pribadi, ...