Сообщение от CoinWorld: Zhipu опубликовала обзор проблем, возникших у серии моделей GLM-5 в сценарии использования coding agent, таких как искажение текста, повторное воспроизведение и редкие символы. С марта пользователи начали жаловаться, что сбои происходят только при высокой нагрузке и при обработке длинных контекстов (в среднем более 70 тысяч токенов). Zhipu заявила, что их система обработки запросов ежедневно обрабатывает сотни миллионов вызовов coding agent. После расследования команда выявила два независимых конкурирующих бага. Первый баг возник в архитектуре разделения pd: при тайм-ауте декодера запрос прерывается и kv-кэш освобождается, но запись RDMA на стороне предварительной загрузки не завершена, что приводит к перезаписи старых данных новым запросом. Исправление заключалось в явной синхронизации перед освобождением, что снизило уровень ошибок с десяти тысячных до менее трёх тысячных. Второй баг был в hicache: отсутствовала синхронизация между загрузкой и вычислительным конвейером, из-за чего вычислительная сторона могла читать данные до их полной загрузки. После исправления ошибки полностью исчезли, патч был отправлен в сообщество sglang. Команда также обнаружила, что показатель приемлемости выборки с помощью спекулятивного сэмплинга может служить сигналом для обнаружения аномалий: при искаженном тексте почти все черновые токены отвергаются, а при повторе уровень принятия слишком высок.

Посмотреть Оригинал

На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .

Награда
лайк
комментарий
Репост
Поделиться

комментарий

Добавить комментарий

Нет комментариев

Популярные темы
Подробнее
#
SKHynixTopsKOSPIByMarketCap
1,54M Популярность
#
MicronEarningsBeatExpectationsSharesRise
166,83K Популярность
#
IsraelStrikesIranBTCPlunges
63,49K Популярность
#
WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷
321,25K Популярность
#
USMayPCEInflationRisesTo4.1%HighestIn3Years
523,14K Популярность

Закреплено

Карта сайта

Интеллектуальный обзор GLM-5 «Проблема с кодировкой»: миллиарды вызовов Coding Agent в день, два гонки-бага спрятаны в KV Cache

Популярные темы

SKHynixTopsKOSPIByMarketCap

MicronEarningsBeatExpectationsSharesRise

IsraelStrikesIranBTCPlunges

WorldCup🏴󠁧󠁢󠁳󠁣󠁴󠁿vs🇧🇷

USMayPCEInflationRisesTo4.1%HighestIn3Years

Закреплено