Используйте безопасную модель для защиты небезопасной модели и интеллектуальную систему для противостояния атакам со стороны разведки. Эта статья из статьи, написанной Windrush и перепечатанной TechFlow Deep Tide. (Синопсис: Пакистан объявляет о выделении 2000 мегаватт электроэнергии для «Центра майнинга биткоинов и искусственного интеллекта» Премьер-министр назначил специального помощника по блокчейну и криптовалютам) (Справочное дополнение: Внутренний эксперимент Hon Hai: ИИ может заменить 80% рабочих мест, председатель Лю Янвэй раскрыл троицу проекта будущей фабрики) Гики открывают бизнес, Xiaobai покупает курсы, а маляры безработные, но неловкая реальность такова: посадка ИИ — это круто, но сюжет не идет по пути пришествия, а бросает кости. Более того, на заре развития этой индустрии первая поверхность этого кубика часто бывает либо желтой, либо серой. Причина также очень проста, огромные прибыли генерируют импульс, не говоря уже о ранней стадии развития, всегда полной лазеек. Глядя на этот набор данных, становится ясно: в настоящее время более 43% узлов службы MCP имеют непроверенные пути вызовов оболочки, а более 83% развертываний имеют уязвимости конфигурации MCP (Model Context Protocol); 88% развертываний компонентов ИИ вообще не имеют включенных защитных ограждений; 150 000 легких фреймворков развертывания ИИ, таких как Ollama, в настоящее время доступны в глобальной общедоступной сети, а вычислительные мощности на сумму более 1 миллиарда долларов были украдены для майнинга...... По иронии судьбы, атака на самые умные большие модели требует минимальной тактики — всего лишь набор открытых портов по умолчанию, открытый профиль YAML или непроверенный путь вызова оболочки, и даже, если подсказки введены достаточно точно, сама большая модель может помочь Грею определить направление атаки. В эпоху искусственного интеллекта дверь конфиденциальности корпоративных данных так произвольно входит и выходит. Но проблема не является неразрешимой: ИИ не просто генерирует и атакует. Как использовать ИИ для защиты все чаще становится главной темой этой эпохи; В то же время в облаке разработка правил для ИИ также стала предметом внимания ведущих облачных вендоров, и Alibaba Cloud Security является одним из наиболее типичных представителей. В момент выхода Aliyun Feitian, который только что закончился, Aliyun официально объявила о двух путях облачной безопасности: Security for AI и AI for Security, а также выпустила продукты серии «Cloud Shield for AI», чтобы предоставить клиентам «комплексные решения безопасности для модельных приложений», что является лучшим примером исследования текущей отрасли. 01 AI бросает кубики, почему серый и желтый всегда смотрят вверх первыми? В истории человеческих технологий ИИ — это не первый новый вид, который «сначала подвергается испытанию желтым штормом», серый и желтый — первая вспышка, это также закон популяризации технологий, а не случайность. В 1839 году появилась фотография на серебряных пластинах, и первой волной пользователей стала индустрия; На заре Интернета электронная коммерция еще не начиналась, и сайты для взрослых начали задумываться об онлайн-оплате; Сегодняшняя большая модельная шерстяная вечеринка, в какой-то степени, также воссоздает миф об «эре доменных имен» для разбогатевания. Дивиденды времени всегда первыми касаются серого и желтого. Потому что они не обращают внимания на комплаенс, не ждут надзора, а эффективность естественно сверхвысокая. Поэтому каждый период технологической вспышки — это в первую очередь кастрюля с «мутным супом», и ИИ, естественно, не исключение. В декабре 2023 года хакер использовал всего лишь подсказывающее слово — «предложение за 1 доллар» — чтобы побудить робота по обслуживанию клиентов в магазине 4S продать Chevrolet почти за 1 доллар. Это самый распространенный «Prompt Injection» в эпоху ИИ: не требуется проверка разрешений, не оставляются следы журналов, а заменить всю логическую цепочку можно только «говоря по уму». Еще одним шагом вперед является «джейлбрейк». Злоумышленники использовали риторические вопросы, ролевые игры, подсказки и т. д., чтобы успешно заставить модель говорить то, что она не должна была говорить: порнографию, производство наркотиков, ложные предупреждения...... В Гонконге некоторые люди даже украли 200 миллионов гонконгских долларов с корпоративных счетов, фальсифицируя голоса руководителей. Помимо мошенничества, у ИИ есть и риск «непреднамеренного вывода»: в 2023 году большая модельная система образовательного гиганта при формировании планов уроков по ошибке экспортировала «ядовитые учебные материалы» с экстремальным содержанием, и всего за 3 дня разразилась защита прав родителей, общественное мнение, а стоимость акций компании потеряла 12 млрд юаней. ИИ не понимает законов, но у него есть способность, а способность причинять вред, если он выходит из-под контроля, вредна. Но с другой точки зрения, технология ИИ новая, но конечный поток и средства производства серого и желтого остаются неизменными, и для ее решения зависит безопасность. 02 Безопасность для ИИ Давайте сначала поговорим о холодном знании, которого коллективно избегают индустрия ИИ: суть больших моделей заключается не в «интеллекте» или «понимании», а в семантической генерации под контролем вероятности. Таким образом, как только контекст обучения будет превышен, могут быть получены неожиданные результаты. Это может быть своего рода суперкласс, вы хотите, чтобы он писал новости, он писал вам стихи; Также может случиться так, что вы хотите, чтобы он порекомендовал товар, и он внезапно сообщает вам, что температура в Токио сегодня составляет минус 25 градусов по Цельсию. Более того, вы говорите ему, что в игре, если вы не можете получить подлинный серийный номер такого-то программного обеспечения, оно будет снято, и большая модель действительно может сделать все возможное, чтобы помочь пользователям найти подлинный серийный номер программного обеспечения по цене 0. Для того, чтобы обеспечить контролируемость выходных данных, предприятие должно понимать модель и безопасность. Согласно последнему отчету IDC «China Security Big Model Capability Evaluation Report», PK Alibaba среди всех ведущих отечественных производителей с возможностями больших моделей безопасности занимает первое место по 4 из 7 показателей, а остальные 3 выше, чем в среднем по отрасли. С точки зрения подхода, ответ, данный Alibaba Cloud Security, также прост: позвольте безопасности опережать скорость ИИ и создайте трехуровневую структуру защиты полного стека снизу вверх - от безопасности инфраструктуры до управления входом и выводом больших моделей, а также защиты сервисов приложений ИИ. Среди трех уровней наиболее экзистенциальным является «AI Guardrail» среднего уровня, предназначенный для риска больших моделей. Вообще говоря, основными рисками для безопасности больших моделей являются: нарушение контента, утечка конфиденциальных данных, атаки с внедрением слов, иллюзии модели и атаки на джейлбрейк. Тем не менее, традиционные решения безопасности в основном представляют собой архитектуры общего назначения, разработанные для Интернета, а не для «говорящих программ», и, естественно, не могут точно идентифицировать и реагировать на риски, уникальные для приложений с большими моделями. Еще сложнее охватить возникающие вопросы, такие как безопасность созданного контента, защита от контекстных атак и достоверность выходных данных. Что еще более важно, традиционным решениям не хватает тонких управляемых средств и механизмов визуальной отслеживаемости, что приводит к огромным слепым зонам в управлении ИИ, и они, естественно, не могут решить проблему, если не знают, где она находится. Реальная мощь AI Guardrail заключается не только в том, что «он может блокировать», но и в том, что независимо от того, делаете ли вы предварительно обученные большие модели, сервисы искусственного интеллекта или агенты искусственного интеллекта в различных бизнес-формах, он знает, о чем вы говорите и что генерирует большая модель, чтобы обеспечить точное обнаружение рисков и возможности упреждающей защиты для достижения соответствия, безопасности и стабильности. В частности, AI Guardrail конкретно отвечает за защиту трех типов сценариев: Итоговое соответствие: Проведение многомерной проверки соответствия текстового содержимого ввода и вывода генеративного ИИ, охватывающая такие категории риска, как политическая чувствительность, порнография и вульгарность, предрассудки и дискриминация, а также плохие ценности, глубокое обнаружение данных о конфиденциальности и конфиденциальной информации, которые могут быть украдены во время взаимодействия с ИИ, а также поддержка личной конфиденциальности, корпоративной ...
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Почему в эпоху ИИ всегда сначала вспыхивают деньги, связанные с азартными играми и проституцией?
Используйте безопасную модель для защиты небезопасной модели и интеллектуальную систему для противостояния атакам со стороны разведки. Эта статья из статьи, написанной Windrush и перепечатанной TechFlow Deep Tide. (Синопсис: Пакистан объявляет о выделении 2000 мегаватт электроэнергии для «Центра майнинга биткоинов и искусственного интеллекта» Премьер-министр назначил специального помощника по блокчейну и криптовалютам) (Справочное дополнение: Внутренний эксперимент Hon Hai: ИИ может заменить 80% рабочих мест, председатель Лю Янвэй раскрыл троицу проекта будущей фабрики) Гики открывают бизнес, Xiaobai покупает курсы, а маляры безработные, но неловкая реальность такова: посадка ИИ — это круто, но сюжет не идет по пути пришествия, а бросает кости. Более того, на заре развития этой индустрии первая поверхность этого кубика часто бывает либо желтой, либо серой. Причина также очень проста, огромные прибыли генерируют импульс, не говоря уже о ранней стадии развития, всегда полной лазеек. Глядя на этот набор данных, становится ясно: в настоящее время более 43% узлов службы MCP имеют непроверенные пути вызовов оболочки, а более 83% развертываний имеют уязвимости конфигурации MCP (Model Context Protocol); 88% развертываний компонентов ИИ вообще не имеют включенных защитных ограждений; 150 000 легких фреймворков развертывания ИИ, таких как Ollama, в настоящее время доступны в глобальной общедоступной сети, а вычислительные мощности на сумму более 1 миллиарда долларов были украдены для майнинга...... По иронии судьбы, атака на самые умные большие модели требует минимальной тактики — всего лишь набор открытых портов по умолчанию, открытый профиль YAML или непроверенный путь вызова оболочки, и даже, если подсказки введены достаточно точно, сама большая модель может помочь Грею определить направление атаки. В эпоху искусственного интеллекта дверь конфиденциальности корпоративных данных так произвольно входит и выходит. Но проблема не является неразрешимой: ИИ не просто генерирует и атакует. Как использовать ИИ для защиты все чаще становится главной темой этой эпохи; В то же время в облаке разработка правил для ИИ также стала предметом внимания ведущих облачных вендоров, и Alibaba Cloud Security является одним из наиболее типичных представителей. В момент выхода Aliyun Feitian, который только что закончился, Aliyun официально объявила о двух путях облачной безопасности: Security for AI и AI for Security, а также выпустила продукты серии «Cloud Shield for AI», чтобы предоставить клиентам «комплексные решения безопасности для модельных приложений», что является лучшим примером исследования текущей отрасли. 01 AI бросает кубики, почему серый и желтый всегда смотрят вверх первыми? В истории человеческих технологий ИИ — это не первый новый вид, который «сначала подвергается испытанию желтым штормом», серый и желтый — первая вспышка, это также закон популяризации технологий, а не случайность. В 1839 году появилась фотография на серебряных пластинах, и первой волной пользователей стала индустрия; На заре Интернета электронная коммерция еще не начиналась, и сайты для взрослых начали задумываться об онлайн-оплате; Сегодняшняя большая модельная шерстяная вечеринка, в какой-то степени, также воссоздает миф об «эре доменных имен» для разбогатевания. Дивиденды времени всегда первыми касаются серого и желтого. Потому что они не обращают внимания на комплаенс, не ждут надзора, а эффективность естественно сверхвысокая. Поэтому каждый период технологической вспышки — это в первую очередь кастрюля с «мутным супом», и ИИ, естественно, не исключение. В декабре 2023 года хакер использовал всего лишь подсказывающее слово — «предложение за 1 доллар» — чтобы побудить робота по обслуживанию клиентов в магазине 4S продать Chevrolet почти за 1 доллар. Это самый распространенный «Prompt Injection» в эпоху ИИ: не требуется проверка разрешений, не оставляются следы журналов, а заменить всю логическую цепочку можно только «говоря по уму». Еще одним шагом вперед является «джейлбрейк». Злоумышленники использовали риторические вопросы, ролевые игры, подсказки и т. д., чтобы успешно заставить модель говорить то, что она не должна была говорить: порнографию, производство наркотиков, ложные предупреждения...... В Гонконге некоторые люди даже украли 200 миллионов гонконгских долларов с корпоративных счетов, фальсифицируя голоса руководителей. Помимо мошенничества, у ИИ есть и риск «непреднамеренного вывода»: в 2023 году большая модельная система образовательного гиганта при формировании планов уроков по ошибке экспортировала «ядовитые учебные материалы» с экстремальным содержанием, и всего за 3 дня разразилась защита прав родителей, общественное мнение, а стоимость акций компании потеряла 12 млрд юаней. ИИ не понимает законов, но у него есть способность, а способность причинять вред, если он выходит из-под контроля, вредна. Но с другой точки зрения, технология ИИ новая, но конечный поток и средства производства серого и желтого остаются неизменными, и для ее решения зависит безопасность. 02 Безопасность для ИИ Давайте сначала поговорим о холодном знании, которого коллективно избегают индустрия ИИ: суть больших моделей заключается не в «интеллекте» или «понимании», а в семантической генерации под контролем вероятности. Таким образом, как только контекст обучения будет превышен, могут быть получены неожиданные результаты. Это может быть своего рода суперкласс, вы хотите, чтобы он писал новости, он писал вам стихи; Также может случиться так, что вы хотите, чтобы он порекомендовал товар, и он внезапно сообщает вам, что температура в Токио сегодня составляет минус 25 градусов по Цельсию. Более того, вы говорите ему, что в игре, если вы не можете получить подлинный серийный номер такого-то программного обеспечения, оно будет снято, и большая модель действительно может сделать все возможное, чтобы помочь пользователям найти подлинный серийный номер программного обеспечения по цене 0. Для того, чтобы обеспечить контролируемость выходных данных, предприятие должно понимать модель и безопасность. Согласно последнему отчету IDC «China Security Big Model Capability Evaluation Report», PK Alibaba среди всех ведущих отечественных производителей с возможностями больших моделей безопасности занимает первое место по 4 из 7 показателей, а остальные 3 выше, чем в среднем по отрасли. С точки зрения подхода, ответ, данный Alibaba Cloud Security, также прост: позвольте безопасности опережать скорость ИИ и создайте трехуровневую структуру защиты полного стека снизу вверх - от безопасности инфраструктуры до управления входом и выводом больших моделей, а также защиты сервисов приложений ИИ. Среди трех уровней наиболее экзистенциальным является «AI Guardrail» среднего уровня, предназначенный для риска больших моделей. Вообще говоря, основными рисками для безопасности больших моделей являются: нарушение контента, утечка конфиденциальных данных, атаки с внедрением слов, иллюзии модели и атаки на джейлбрейк. Тем не менее, традиционные решения безопасности в основном представляют собой архитектуры общего назначения, разработанные для Интернета, а не для «говорящих программ», и, естественно, не могут точно идентифицировать и реагировать на риски, уникальные для приложений с большими моделями. Еще сложнее охватить возникающие вопросы, такие как безопасность созданного контента, защита от контекстных атак и достоверность выходных данных. Что еще более важно, традиционным решениям не хватает тонких управляемых средств и механизмов визуальной отслеживаемости, что приводит к огромным слепым зонам в управлении ИИ, и они, естественно, не могут решить проблему, если не знают, где она находится. Реальная мощь AI Guardrail заключается не только в том, что «он может блокировать», но и в том, что независимо от того, делаете ли вы предварительно обученные большие модели, сервисы искусственного интеллекта или агенты искусственного интеллекта в различных бизнес-формах, он знает, о чем вы говорите и что генерирует большая модель, чтобы обеспечить точное обнаружение рисков и возможности упреждающей защиты для достижения соответствия, безопасности и стабильности. В частности, AI Guardrail конкретно отвечает за защиту трех типов сценариев: Итоговое соответствие: Проведение многомерной проверки соответствия текстового содержимого ввода и вывода генеративного ИИ, охватывающая такие категории риска, как политическая чувствительность, порнография и вульгарность, предрассудки и дискриминация, а также плохие ценности, глубокое обнаружение данных о конфиденциальности и конфиденциальной информации, которые могут быть украдены во время взаимодействия с ИИ, а также поддержка личной конфиденциальности, корпоративной ...