Güvensiz modeli korumak için güvenli bir model kullanın ve istihbarattan gelen saldırılara direnmek için akıllı bir sistem kullanın. Bu makale Windrush tarafından yazılan ve TechFlow Deep Tide tarafından yeniden basılan bir makaleden alınmıştır. (Özet: Pakistan, "Bitcoin Madenciliği ve Yapay Zeka Merkezi" için 2.000 megavat elektrik açıkladı Başbakan, blok zinciri ve kripto para birimleri için özel asistan atadı) (Arka plan eki: Hon Hai dahili deneyi: Yapay zeka işlerin %80'inin yerini alabilir, başkan Liu Yangwei gelecekteki fabrikanın üçlü planını ortaya çıkardı) İnekler iş kuruyor, Xiaobai ders satın alıyor ve ressamlar işsiz, ancak utanç verici bir gerçek şu: AI inişi sıcak, ancak olay örgüsü varış rotasını almak değil, zar atmak. Dahası, endüstrinin ilk günlerinde, bu zarın karaya çıkan ilk yüzeyi genellikle ya sarı ya da gridir. Nedeni de çok basit, büyük karlar ivme yaratıyor, gelişimin erken aşamasından bahsetmiyorum bile, her zaman boşluklarla dolu. Bu veri kümesine bakıldığında açıktır: Şu anda, MCP hizmet düğümlerinin %43'ünden fazlası doğrulanmamış kabuk çağrı yollarına sahiptir ve dağıtımların %83'ünden fazlası MCP (Model Bağlam Protokolü) yapılandırma güvenlik açıklarına sahiptir; Yapay zeka bileşeni dağıtımlarının %88'inde herhangi bir koruma biçimi etkinleştirilmemiştir; Ollama gibi 150.000 hafif AI dağıtım çerçevesi şu anda küresel genel ağda kullanıma sunuluyor ve madencilik için 1 milyar dolardan fazla bilgi işlem gücü ele geçirildi...... İronik bir şekilde, en akıllı büyük modellere saldırmak minimum taktikler gerektirir - yalnızca bir dizi varsayılan açık bağlantı noktası, açığa çıkan bir YAML profili veya doğrulanmamış bir kabuk çağrı yolu ve hatta istemler yeterince doğru yazıldığı sürece, büyük modelin kendisi grinin saldırının yönünü üretmesine yardımcı olabilir. Kurumsal veri gizliliğinin kapısı, yapay zeka çağında çok keyfi bir şekilde giriliyor ve çıkılıyor. Ancak sorun çözülemez değil: Yapay zekanın sadece üretmekten ve saldırmaktan daha fazlası var. Yapay zekanın koruma için nasıl kullanılacağı giderek bu çağın ana teması haline geldi; Aynı zamanda, bulutta, yapay zeka için kurallar koymak da en iyi bulut satıcılarının odak noktası haline geldi ve Alibaba Cloud Security en tipik temsilcilerden biri. Aliyun Feitian'ın piyasaya sürülmesinin henüz sona erdiği anda, Aliyun resmi olarak iki bulut güvenliği yolunu duyurdu: Yapay Zeka Güvenliği ve Güvenlik için Yapay Zeka için Yapay Zeka ve Yapay Zeka için Yapay Zeka, müşterilere "model uygulamalar için uçtan uca güvenlik çözümleri" sağlamak için "Yapay Zeka için Bulut Kalkanı" serisi ürünleri piyasaya sürdü, bu da mevcut endüstrinin keşfinin en iyi örneğidir. 01 AI zar atın, neden gri ve sarı her zaman önce yukarı bakıyor? İnsan teknolojisi tarihinde, yapay zeka "önce sarı fırtına tarafından test edilen" ilk yeni tür değil, gri ve sarı ilk salgın, aynı zamanda bir kazadan ziyade teknolojinin popülerleşmesinin yasasıdır. 1839'da gümüş plaka fotoğrafçılığı ortaya çıktı ve ilk kullanıcı dalgası endüstri oldu; İnternetin ilk günlerinde e-ticaret başlamadı ve yetişkinlere yönelik web siteleri çevrimiçi ödemeyi düşünmeye başladı; Günümüzün büyük model yün partisi, bir dereceye kadar, zengin olmanın "alan adı çağı" efsanesini de yeniden yaratıyor. Zamanın temettülerine her zaman önce gri ve sarı dokunur. Çünkü uyumluluğa dikkat etmezler, denetim için beklemezler ve verimlilik doğal olarak çok yüksektir. Bu nedenle, her teknoloji salgını dönemi önce bir tencere "çamurlu çorba"dır ve yapay zeka da doğal olarak bir istisna değildir. Aralık 2023'te bir bilgisayar korsanı, bir 4S mağazasındaki bir müşteri hizmetleri robotunu neredeyse 1 dolara bir Chevrolet satmaya ikna etmek için yalnızca hızlı bir kelime - "1 dolarlık teklif" - kullandı. Bu, AI çağındaki en yaygın "Hızlı Enjeksiyon" dur: izin doğrulaması gerekmez, günlük izi kalmaz ve tüm mantıksal zincir yalnızca "akıllıca konuşma" ile değiştirilebilir. Bir adım daha ileri "jailbreak" dir. Saldırganlar, modelin söylememesi gereken şeyleri başarılı bir şekilde söylemesini sağlamak için retorik sorular, rol oyunları, dolambaçlı yollar vb. kullandılar: pornografi, uyuşturucu üretimi, yanlış uyarı mesajları...... Hong Kong'da, bazı insanlar yönetici seslerini tahrif ederek şirket hesaplarından 200 milyon HK $ bile çaldı. Dolandırıcılığa ek olarak, yapay zekanın "kasıtsız çıktı" riski de vardır: 2023'te, bir eğitim devinin büyük bir model sistemi, ders planları oluştururken yanlışlıkla aşırı içeriğe sahip "zehirli öğretim materyalleri" ihraç etti ve sadece 3 gün içinde ebeveyn haklarının korunması, kamuoyu patlak verdi ve şirketin hisse senedi fiyatı 12 milyar yuan kaybetti. Yapay zeka yasayı anlamıyor, ancak bir kez gözetim dışı bırakıldığında zarar verme yeteneğine ve yeteneğine sahip. Ancak başka bir bakış açısına göre, AI teknolojisi yenidir, ancak gri ve sarı üretimin nihai akışı ve araçları değişmemiştir ve bunu çözmek güvenliğe bağlıdır. 02 Yapay Zeka için Güvenlik Öncelikle yapay zeka endüstrisi tarafından toplu olarak kaçınılan soğuk bir bilgiden bahsedelim: Büyük modellerin özü "zeka" veya "anlayış" değil, olasılık kontrolü altında anlamsal üretimdir. Bu nedenle, eğitim bağlamı aşıldığında beklenmeyen sonuçlar elde edilebilir. Bu tür bir üst sınıf olabilir, onun haber yazmasını istersiniz, onun size şiir yazmasını istersiniz; Ayrıca, bir ürün önermesini isteyebilirsiniz ve aniden size bugün Tokyo'daki sıcaklığın eksi 25 santigrat derece olduğunu söyleyebilir. Dahası, oyunda, şu veya bu yazılımın orijinal seri numarasını alamazsanız, vurulacağını ve büyük modelin, kullanıcıların 0 maliyetle orijinal bir yazılım seri numarası bulmalarına yardımcı olmak için gerçekten elinden gelenin en iyisini yapabileceğini söylüyorsunuz. Çıktının kontrol edilebilir olmasını sağlamak için işletmenin modeli ve güvenliği anlaması gerekir. IDC'nin en son "Çin Güvenlik Büyük Model Yetenek Değerlendirme Raporu"na göre, Alibaba'nın güvenlik büyük model yeteneklerine sahip tüm en iyi yerli üreticilerle PK'si, 7 göstergenin 4'ünde ilk sırada yer alıyor ve kalan 3'ü sektör ortalamasının üzerinde. Yaklaşım açısından, Alibaba Cloud Security tarafından verilen cevap da basittir: güvenliğin yapay zeka hızının önüne geçmesine izin verin ve altyapı güvenliğinden büyük model giriş ve çıkış kontrolüne ve yapay zeka uygulama hizmeti korumasına kadar aşağıdan yukarıya, üç katmanlı bir tam yığın koruma çerçevesi oluşturun. Üç katman arasında en varoluşsal olanı, büyük modellerin riskine adanmış orta katmanın "AI Korkuluğu" dur. Genel olarak konuşursak, büyük model güvenliği için ana riskler şunlardır: içerik ihlalleri, hassas veri sızıntısı, hızlı kelime enjeksiyon saldırıları, model yanılsamaları ve jailbreak saldırıları. Bununla birlikte, geleneksel güvenlik çözümleri çoğunlukla "konuşan programlar" için değil, Web için tasarlanmış genel amaçlı mimarilerdir ve doğal olarak büyük model uygulamalarına özgü riskleri doğru bir şekilde tanımlayamaz ve bunlara yanıt veremez. Oluşturulan içerik güvenliği, bağlamsal saldırı savunması ve model çıktı güvenilirliği gibi ortaya çıkan sorunları ele almak daha da zordur. Daha da önemlisi, geleneksel çözümler, ince taneli kontrol edilebilir araçlardan ve görsel izlenebilirlik mekanizmalarından yoksundur, bu da yapay zeka yönetişiminde büyük kör noktalara yol açar ve sorunun nerede olduğunu bilmezlerse doğal olarak sorunu çözemezler. AI Guardrail'in gerçek gücü yalnızca "engelleyebilmesi" değil, aynı zamanda çeşitli iş formlarında önceden eğitilmiş büyük modeller, yapay zeka hizmetleri veya yapay zeka aracıları yapıyor olsanız da, ne hakkında konuştuğunuzu ve büyük modelin ne ürettiğini bilir, böylece uyumluluk, güvenlik ve istikrar elde etmek için doğru risk tespiti ve proaktif savunma yetenekleri sağlar. Özellikle, AI Guardrail, üç tür senaryonun korunmasından özellikle sorumludur: Uyumluluk alt satırı: Siyasi duyarlılık, pornografi ve kabalık, önyargı ve ayrımcılık ve kötü değerler gibi risk kategorilerini kapsayan, üretken yapay zeka girdi ve çıktısının metin içeriğinin çok boyutlu bir uyumluluk incelemesini yapın, yapay zeka etkileşimi sırasında sızdırılabilecek gizlilik verilerini ve hassas bilgileri derinlemesine tespit edin ve kişisel gizliliği destekleyin, kurumsal ...
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Neden AI çağında, her zaman sarı kumar fonları en önce patlak veriyor?
Güvensiz modeli korumak için güvenli bir model kullanın ve istihbarattan gelen saldırılara direnmek için akıllı bir sistem kullanın. Bu makale Windrush tarafından yazılan ve TechFlow Deep Tide tarafından yeniden basılan bir makaleden alınmıştır. (Özet: Pakistan, "Bitcoin Madenciliği ve Yapay Zeka Merkezi" için 2.000 megavat elektrik açıkladı Başbakan, blok zinciri ve kripto para birimleri için özel asistan atadı) (Arka plan eki: Hon Hai dahili deneyi: Yapay zeka işlerin %80'inin yerini alabilir, başkan Liu Yangwei gelecekteki fabrikanın üçlü planını ortaya çıkardı) İnekler iş kuruyor, Xiaobai ders satın alıyor ve ressamlar işsiz, ancak utanç verici bir gerçek şu: AI inişi sıcak, ancak olay örgüsü varış rotasını almak değil, zar atmak. Dahası, endüstrinin ilk günlerinde, bu zarın karaya çıkan ilk yüzeyi genellikle ya sarı ya da gridir. Nedeni de çok basit, büyük karlar ivme yaratıyor, gelişimin erken aşamasından bahsetmiyorum bile, her zaman boşluklarla dolu. Bu veri kümesine bakıldığında açıktır: Şu anda, MCP hizmet düğümlerinin %43'ünden fazlası doğrulanmamış kabuk çağrı yollarına sahiptir ve dağıtımların %83'ünden fazlası MCP (Model Bağlam Protokolü) yapılandırma güvenlik açıklarına sahiptir; Yapay zeka bileşeni dağıtımlarının %88'inde herhangi bir koruma biçimi etkinleştirilmemiştir; Ollama gibi 150.000 hafif AI dağıtım çerçevesi şu anda küresel genel ağda kullanıma sunuluyor ve madencilik için 1 milyar dolardan fazla bilgi işlem gücü ele geçirildi...... İronik bir şekilde, en akıllı büyük modellere saldırmak minimum taktikler gerektirir - yalnızca bir dizi varsayılan açık bağlantı noktası, açığa çıkan bir YAML profili veya doğrulanmamış bir kabuk çağrı yolu ve hatta istemler yeterince doğru yazıldığı sürece, büyük modelin kendisi grinin saldırının yönünü üretmesine yardımcı olabilir. Kurumsal veri gizliliğinin kapısı, yapay zeka çağında çok keyfi bir şekilde giriliyor ve çıkılıyor. Ancak sorun çözülemez değil: Yapay zekanın sadece üretmekten ve saldırmaktan daha fazlası var. Yapay zekanın koruma için nasıl kullanılacağı giderek bu çağın ana teması haline geldi; Aynı zamanda, bulutta, yapay zeka için kurallar koymak da en iyi bulut satıcılarının odak noktası haline geldi ve Alibaba Cloud Security en tipik temsilcilerden biri. Aliyun Feitian'ın piyasaya sürülmesinin henüz sona erdiği anda, Aliyun resmi olarak iki bulut güvenliği yolunu duyurdu: Yapay Zeka Güvenliği ve Güvenlik için Yapay Zeka için Yapay Zeka ve Yapay Zeka için Yapay Zeka, müşterilere "model uygulamalar için uçtan uca güvenlik çözümleri" sağlamak için "Yapay Zeka için Bulut Kalkanı" serisi ürünleri piyasaya sürdü, bu da mevcut endüstrinin keşfinin en iyi örneğidir. 01 AI zar atın, neden gri ve sarı her zaman önce yukarı bakıyor? İnsan teknolojisi tarihinde, yapay zeka "önce sarı fırtına tarafından test edilen" ilk yeni tür değil, gri ve sarı ilk salgın, aynı zamanda bir kazadan ziyade teknolojinin popülerleşmesinin yasasıdır. 1839'da gümüş plaka fotoğrafçılığı ortaya çıktı ve ilk kullanıcı dalgası endüstri oldu; İnternetin ilk günlerinde e-ticaret başlamadı ve yetişkinlere yönelik web siteleri çevrimiçi ödemeyi düşünmeye başladı; Günümüzün büyük model yün partisi, bir dereceye kadar, zengin olmanın "alan adı çağı" efsanesini de yeniden yaratıyor. Zamanın temettülerine her zaman önce gri ve sarı dokunur. Çünkü uyumluluğa dikkat etmezler, denetim için beklemezler ve verimlilik doğal olarak çok yüksektir. Bu nedenle, her teknoloji salgını dönemi önce bir tencere "çamurlu çorba"dır ve yapay zeka da doğal olarak bir istisna değildir. Aralık 2023'te bir bilgisayar korsanı, bir 4S mağazasındaki bir müşteri hizmetleri robotunu neredeyse 1 dolara bir Chevrolet satmaya ikna etmek için yalnızca hızlı bir kelime - "1 dolarlık teklif" - kullandı. Bu, AI çağındaki en yaygın "Hızlı Enjeksiyon" dur: izin doğrulaması gerekmez, günlük izi kalmaz ve tüm mantıksal zincir yalnızca "akıllıca konuşma" ile değiştirilebilir. Bir adım daha ileri "jailbreak" dir. Saldırganlar, modelin söylememesi gereken şeyleri başarılı bir şekilde söylemesini sağlamak için retorik sorular, rol oyunları, dolambaçlı yollar vb. kullandılar: pornografi, uyuşturucu üretimi, yanlış uyarı mesajları...... Hong Kong'da, bazı insanlar yönetici seslerini tahrif ederek şirket hesaplarından 200 milyon HK $ bile çaldı. Dolandırıcılığa ek olarak, yapay zekanın "kasıtsız çıktı" riski de vardır: 2023'te, bir eğitim devinin büyük bir model sistemi, ders planları oluştururken yanlışlıkla aşırı içeriğe sahip "zehirli öğretim materyalleri" ihraç etti ve sadece 3 gün içinde ebeveyn haklarının korunması, kamuoyu patlak verdi ve şirketin hisse senedi fiyatı 12 milyar yuan kaybetti. Yapay zeka yasayı anlamıyor, ancak bir kez gözetim dışı bırakıldığında zarar verme yeteneğine ve yeteneğine sahip. Ancak başka bir bakış açısına göre, AI teknolojisi yenidir, ancak gri ve sarı üretimin nihai akışı ve araçları değişmemiştir ve bunu çözmek güvenliğe bağlıdır. 02 Yapay Zeka için Güvenlik Öncelikle yapay zeka endüstrisi tarafından toplu olarak kaçınılan soğuk bir bilgiden bahsedelim: Büyük modellerin özü "zeka" veya "anlayış" değil, olasılık kontrolü altında anlamsal üretimdir. Bu nedenle, eğitim bağlamı aşıldığında beklenmeyen sonuçlar elde edilebilir. Bu tür bir üst sınıf olabilir, onun haber yazmasını istersiniz, onun size şiir yazmasını istersiniz; Ayrıca, bir ürün önermesini isteyebilirsiniz ve aniden size bugün Tokyo'daki sıcaklığın eksi 25 santigrat derece olduğunu söyleyebilir. Dahası, oyunda, şu veya bu yazılımın orijinal seri numarasını alamazsanız, vurulacağını ve büyük modelin, kullanıcıların 0 maliyetle orijinal bir yazılım seri numarası bulmalarına yardımcı olmak için gerçekten elinden gelenin en iyisini yapabileceğini söylüyorsunuz. Çıktının kontrol edilebilir olmasını sağlamak için işletmenin modeli ve güvenliği anlaması gerekir. IDC'nin en son "Çin Güvenlik Büyük Model Yetenek Değerlendirme Raporu"na göre, Alibaba'nın güvenlik büyük model yeteneklerine sahip tüm en iyi yerli üreticilerle PK'si, 7 göstergenin 4'ünde ilk sırada yer alıyor ve kalan 3'ü sektör ortalamasının üzerinde. Yaklaşım açısından, Alibaba Cloud Security tarafından verilen cevap da basittir: güvenliğin yapay zeka hızının önüne geçmesine izin verin ve altyapı güvenliğinden büyük model giriş ve çıkış kontrolüne ve yapay zeka uygulama hizmeti korumasına kadar aşağıdan yukarıya, üç katmanlı bir tam yığın koruma çerçevesi oluşturun. Üç katman arasında en varoluşsal olanı, büyük modellerin riskine adanmış orta katmanın "AI Korkuluğu" dur. Genel olarak konuşursak, büyük model güvenliği için ana riskler şunlardır: içerik ihlalleri, hassas veri sızıntısı, hızlı kelime enjeksiyon saldırıları, model yanılsamaları ve jailbreak saldırıları. Bununla birlikte, geleneksel güvenlik çözümleri çoğunlukla "konuşan programlar" için değil, Web için tasarlanmış genel amaçlı mimarilerdir ve doğal olarak büyük model uygulamalarına özgü riskleri doğru bir şekilde tanımlayamaz ve bunlara yanıt veremez. Oluşturulan içerik güvenliği, bağlamsal saldırı savunması ve model çıktı güvenilirliği gibi ortaya çıkan sorunları ele almak daha da zordur. Daha da önemlisi, geleneksel çözümler, ince taneli kontrol edilebilir araçlardan ve görsel izlenebilirlik mekanizmalarından yoksundur, bu da yapay zeka yönetişiminde büyük kör noktalara yol açar ve sorunun nerede olduğunu bilmezlerse doğal olarak sorunu çözemezler. AI Guardrail'in gerçek gücü yalnızca "engelleyebilmesi" değil, aynı zamanda çeşitli iş formlarında önceden eğitilmiş büyük modeller, yapay zeka hizmetleri veya yapay zeka aracıları yapıyor olsanız da, ne hakkında konuştuğunuzu ve büyük modelin ne ürettiğini bilir, böylece uyumluluk, güvenlik ve istikrar elde etmek için doğru risk tespiti ve proaktif savunma yetenekleri sağlar. Özellikle, AI Guardrail, üç tür senaryonun korunmasından özellikle sorumludur: Uyumluluk alt satırı: Siyasi duyarlılık, pornografi ve kabalık, önyargı ve ayrımcılık ve kötü değerler gibi risk kategorilerini kapsayan, üretken yapay zeka girdi ve çıktısının metin içeriğinin çok boyutlu bir uyumluluk incelemesini yapın, yapay zeka etkileşimi sırasında sızdırılabilecek gizlilik verilerini ve hassas bilgileri derinlemesine tespit edin ve kişisel gizliliği destekleyin, kurumsal ...