IBM mempercepat model AI dengan prosesor kuantum - ForkLog: cryptocurrency, AI, singularitas, masa depan

# IBM mempercepat model AI dengan bantuan prosesor kuantum

Para peneliti dari Multiverse Computing mengumumkan peningkatan kuantum pada model bahasa besar menggunakan perangkat IBM. Ini melibatkan skema hibrid dengan prosesor Heron 156-bit

Penulis menyebut eksperimen ini sebagai "peningkatan kuantum menyeluruh" pertama pada LLM menggunakan prosesor superkonduktor untuk generasi teks autoregresif.

Dalam pengujian, mereka menggunakan Llama 3.1 8B dari Meta. Model dasar tidak di-tuning ulang: parameter-parameter "dibekukan" dan adaptor kuantum ditambahkan — Cayley-parameterized unitary adapters (CUA). Awalnya mereka melatihnya secara klasik, kemudian menghubungkannya ke skema hibrid kuantum-klasik.

Eksperimen dilakukan di IBM Quantum System Two — arsitektur untuk sistem kuantum hibrid. Dalam pengaturan ini digunakan chip Heron 156-bit.

Versi hibrid ini menurunkan perplexity Llama 3.1 8B sebesar 1,4%. Untuk itu, sekitar 6000 parameter ditambahkan — sekitar 0,000075% dari ukuran model

Dalam demonstrasi, Llama yang ditingkatkan secara kuantum menjawab dengan benar pertanyaan tentang astronomi dan biologi, yang tidak bisa dijawab versi dasar (misalnya, tentang keberadaan cincin di semua planet raksasa).

Menurut penulis utama penelitian Borja Aispuroa, pekerjaan ini merupakan bukti konsep. Blok kuantum memungkinkan prediksi token berikutnya dalam teks dengan lebih akurat dengan biaya komputasi yang minimal

Tim ini berharap dapat menurunkan perplexity lebih jauh dan meningkatkan akurasi dengan jumlah parameter yang lebih sedikit dibandingkan pendekatan sepenuhnya klasik.

Perlu diingat, pada bulan Mei, harga saham perusahaan kuantum naik setelah pengumuman dari Departemen Perdagangan AS tentang alokasi $2 miliar kepada perusahaan-perusahaan Amerika dalam program CHIPS R&D