Создание трансформера в виде полностью аппаратной схемы без использования GPU — достичь 50 000 токенов в секунду

Китайская крипто-новостная сеть сообщает, что разработчики Luthira Abeykoon и Krish Chhajer перенесли MicroGPT Карпаты (всего 4192 параметра) на FPGA с помощью SystemVerilog, достигнув скорости генерации более 50 000 токенов в секунду. Этот проект Talos-V2 (Tensor Accelerated Logic for On-Chip Systems) уже открыт на GitHub и работает на учебном FPGA Intel Cyclone V DE1-SOC, веса хранятся в on-chip ROM в формате фиксированной точки Q4.12. Реализация матрично-векторного умножения в модели выполнена в виде 16-канального систолического массива, при этом проекции Q/K/V, MLP и LM Head используют один и тот же блок, по очереди запускаясь. Реализация механизма внимания требует разделения на восемь этапов. Авторы отмечают, что проект нацелен на преобразование каждого шага трансформерного вывода в визуализируемое аппаратное обеспечение: память, счетчики, автомат и таблицы поиска.