IBM прискорила модель штучного інтелекту за допомогою квантового процесора - ForkLog: криптовалюти, ШІ, сингулярність, майбутнє

# IBM прискорила модель штучного інтелекту за допомогою квантового процесора

Дослідники Multiverse Computing заявили про квантове покращення великої мовної моделі на обладнанні IBM. Йдеться про гібридну схему з використанням 156-кубітного процесора Heron

Автори назвали експеримент першим «сквозним квантовим покращенням» LLM на надпровідному процесорі для авторегресивної генерації тексту.

У тестах використовували Llama 3.1 8B від Meta. Базову модель не донавчали: параметри «заморозили» і додали квантові адаптери — Cayley-параметризовані унітарні адаптери (CUA). Спочатку їх тренували класичним способом, потім підключили до гібридної квантово-класичної схеми.

Експеримент провели на IBM Quantum System Two — архітектурі для гібридних квантових систем. В установці задіяли 156-кубітний чіп Heron.

Гібридна версія знизила перплексію Llama 3.1 8B на 1,4%. Для цього додали близько 6000 параметрів — приблизно 0,000075% від розміру моделі

Під час демонстрації квантово-покращена Llama правильно відповіла на питання з астрономії та біології, з якими не справилася базова версія (наприклад, про наявність кілець у всіх планет-гігантів).

За словами провідного автора дослідження Борхи Айспуруа, робота є доказом концепції. Квантові блоки дозволили точніше передбачати наступний токен у тексті при мінімальних витратах обчислювальних потужностей

Команда розраховує досягти подальшого зниження перплексії та зростання точності при меншій кількості параметрів у порівнянні з повністю класичними підходами.

Нагадаємо, у травні котирування квантових компаній зросли після оголошення Мінторгу США про виділення $2 млрд американським фірмам у рамках програми CHIPS R&D