ЦиСин Цзэсяо: повышение устойчивости становится ключевым требованием для текущей интеллектуальной системы вывода

Ежедневные экономические новости AI Express. Исследовательский отчет компании CITIC Securities сообщает, что ИИ развивается от «простого диалога» к «интеллектуальным агентам (Agent)», стимулируя резкий рост длины контекста. По данным Epoch AI, самый длинный контекстный фрейм примерно ежегодно увеличивается в 30 раз; существует линейная зависимость между объемом видеопамяти KV Cache и длиной контекста, что значительно опережает темпы роста аппаратных конфигураций. В настоящее время основные способы, с помощью которых производители больших моделей и оборудования решают узкое место по вычислительной мощности, — это квантование, многоуровневое хранение и оптимизация архитектуры модели, но это по-прежнему не меняет того факта, что потребность в видеопамяти продолжает резко расти. CITIC Securities считает, что оптимизация видеопамяти может снизить стоимость генерации одного токена, что затем будет стимулировать пользователей включать более высокую параллельность и более длинный контекст; общий спрос на вычислительную мощность не уменьшится, а увеличится. Переход к «вычислительным мощностям» станет ключевой потребностью для вывода текущих Agent, и мы твердо полагаем благоприятной тенденцию роста в секторе хранения.

Ежедневные экономические новости

(Редактор: Дун Пинпин)

     【Отказ от ответственности】Настоящая статья отражает только личное мнение автора и не связана с Hexun. Сайт Hexun сохраняет нейтралитет в отношении сделанных в статье утверждений, оценок и суждений. Сайт Hexun не предоставляет никаких явных или подразумеваемых гарантий относительно точности, надежности или полноты содержащегося в статье. Пожалуйста, относитесь к материалам исключительно как к справочной информации и несите полную ответственность самостоятельно. Email: news_center@staff.hexun.com

Пожаловаться