Фьючерсы
Доступ к сотням фьючерсов
CFD
Золото
Одна платформа мировых активов
Опционы
Hot
Торги опционами Vanilla в европейском стиле
Единый счет
Увеличьте эффективность вашего капитала
Демо-торговля
Введение в торговлю фьючерсами
Подготовьтесь к торговле фьючерсами
Фьючерсные события
Получайте награды в событиях
Демо-торговля
Используйте виртуальные средства для торговли без риска
Запуск
CandyDrop
Собирайте конфеты, чтобы заработать аирдропы
Launchpool
Быстрый стейкинг, заработайте потенциальные новые токены
HODLer Airdrop
Удерживайте GT и получайте огромные аирдропы бесплатно
Pre-IPOs
Откройте полный доступ к глобальным IPO акций
Alpha Points
Торгуйте и получайте аирдропы
Фьючерсные баллы
Зарабатывайте баллы и получайте награды аирдропа
Инвестиции
Simple Earn
Зарабатывайте проценты с помощью неиспользуемых токенов
Автоинвест.
Автоинвестиции на регулярной основе.
Бивалютные инвестиции
Доход от волатильности рынка
Мягкий стейкинг
Получайте вознаграждения с помощью гибкого стейкинга
Криптозаймы
0 Fees
Заложите одну криптовалюту, чтобы занять другую
Центр кредитования
Единый центр кредитования
Рекламные акции
Промоакции
Участвуйте и получайте награды
Реферал
20 USDT
Приглашайте друзей за бонусы
Партнерская программа
Эксклюзивные комиссионные
Gate Booster
Растите влияние и получайте аирдроп
Анонсы
Обновления в реальном времени
Блог Gate
Статьи о криптоиндустрии
VIP-услуги
Огромные скидки на комиссии
Управление активами
Универсальное решение для управления активами
Институциональный
Крипто-решения для бизнеса
Разработчикам (API)
Подключение к экосистеме приложений Gate
Внебиржевые банковские переводы
Ввод и вывод фиатных денег
Брокерская программа
Щедрые механизмы скидок API
AI
Gate AI
Ваш универсальный AI-ассистент для любых задач
Gate AI Bot
Используйте Gate AI прямо в вашем социальном приложении
GateClaw
Gate Синий Лобстер — готов к использованию
Gate for AI Agent
AI-инфраструктура: Gate MCP, Skills и CLI
Gate Skills Hub
Более 10 тыс навыков
От офиса до трейдинга: единая база навыков для эффективного использования ИИ
GateRouter
Умный выбор из более чем 40 моделей ИИ, без дополнительных затрат (0%)
ByteDance открывает исходный код Cola DLM: переопределение генерации текста с помощью модели распространения
Это набор последовательных потенциальных диффузионных языковых моделей, пытающихся обойти фиксированный путь генерации текста по токенам слева направо, характерный для больших языковых моделей, и изменить процесс генерации текста так, чтобы сначала организовать высокоуровневую семантику, а затем перейти к конкретным словам.
Ядром Cola DLM является Text VAE + блок-каузальный DiT.
Text VAE сначала отображает дискретный текст в непрерывное потенциальное пространство, а блок-каузальный DiT обучается предиктивному моделированию потенциалов с помощью Flow Matching, после чего условный декодер восстанавливает текст из потенциальных переменных.
Процесс диффузии обрабатывает представление семантики в потенциале, а не повторное устранение шума непосредственно на уровне токенов.
Эта версия с открытым исходным кодом относится к модели уровня 2B, содержащей примерно 2,3 миллиарда параметров, из которых ядро DiT включает 1,8 миллиарда параметров, а дополнительно 500 миллионов — VAE.
В восьми тестах, таких как LAMBADA, MMLU, OBQA, HellaSwag, RACE, SIQA, SQuAD, Story Cloze, авторы заявляют, что при едином протоколе оценки генеративных моделей она демонстрирует масштабируемость, сопоставимую с базовыми моделями AR / LLaDA того же масштаба, и достигает лучших средних результатов.
Однако в настоящее время это все еще исследовательский контрольный пункт, а не готовая к использованию модель для диалогов.
Официальные источники отмечают, что эта модель не прошла инструктивную донастройку и RLHF, ее основное назначение — исследование применения последовательных потенциалов диффузии для генерации текста.
Также в статье представлены предварительные эксперименты по расширению модели для унифицированного моделирования текста и изображений, однако в текущем репозитории содержится только текстовая часть.
(Источник: BlockBeats)