Meta и другие компании представили ускорение BLT, при котором пропускная способность памяти сокращается максимум на 92%

AIMPACT сообщение, 12 мая (UTC+8), команда исследователей из Meta, Стэнфордского университета и Университета Вашингтона недавно представили три новых метода, значительно ускоряющих скорость вывода Byte Latent Transformer (BLT). BLT — это языковая модель, которая работает непосредственно с исходными байтами, динамически группируя байты в переменной длины патчи с помощью стратегии сегментации на основе энтропии, что соответствует эффективности моделей на основе токенизации. Поскольку автогрессивное декодирование по байтам требует многократных прямых проходов, пропускная способность памяти становится основным узким местом. Три метода ускорения следующие: BLT-D использует дискретное диффузионное разбиение, обучение включает предсказание следующего байта и потерю на маскированных байтах, каждый прямой проход генерирует несколько байтов, при размере блока 4 пропускная способность памяти менее чем вдвое по сравнению с базовым BLT, при размере блока 16 снижение составляет 87-92%; BLT-S использует легкий локальный декодер в качестве спекулятивного черновика, не требует дополнительного обучения, при жадном декодировании вывод полностью совпадает со стандартным BLT, что позволяет снизить использование пропускной способности памяти на 77%; BLT-DV сочетает диффузионное черновое создание и автогрессивную проверку, одни и те же веса модели могут использоваться двунаправленно, снижение пропускной способности памяти составляет 81%. Все методы наиболее эффективны на задачах перевода, задачи кодирования чувствительны к размеру блока. На бенчмарках, основанных на вероятностных оценках, таких как ARC-Easy, ARC-Challenge, PIQA, HellaSwag, MMLU, оценки BLT-D близки к базовой модели BLT, а возможности вывода остаются стабильными.