IBM đã tăng tốc mô hình AI bằng cách sử dụng bộ xử lý lượng tử - ForkLog: tiền điện tử, AI, siêu trí tuệ, tương lai

img-1de634c92a284eee-5319827228215033# IBM đã tăng tốc mô hình AI bằng cách sử dụng bộ xử lý lượng tử

Các nhà nghiên cứu của Multiverse Computing đã tuyên bố về việc nâng cao lượng tử cho mô hình ngôn ngữ lớn trên thiết bị của IBM. Đó là một sơ đồ lai sử dụng bộ xử lý Heron 156-cubit

Các tác giả gọi thử nghiệm này là "cải tiến lượng tử xuyên suốt" đầu tiên của LLM trên bộ xử lý siêu dẫn cho việc tạo văn bản tự hồi quy.

Trong các thử nghiệm, họ đã sử dụng Llama 3.1 8B của Meta. Mô hình cơ sở không được huấn luyện thêm: các tham số đã được "đóng băng" và thêm các bộ điều chỉnh lượng tử — Cayley-parameterized unitary adapters (CUA). Ban đầu, chúng được huấn luyện theo phương pháp truyền thống, sau đó kết nối vào sơ đồ lai lượng tử - cổ điển.

Thử nghiệm được thực hiện trên IBM Quantum System Two — kiến trúc dành cho các hệ thống lượng tử lai. Trong thiết bị, họ đã sử dụng chip Heron 156-cubit.

Phiên bản lai đã giảm perplexity của Llama 3.1 8B xuống 1,4%. Để làm điều này, họ đã thêm khoảng 6000 tham số — khoảng 0,000075% kích thước của mô hình

Trong buổi trình diễn, Llama được nâng cấp lượng tử đã trả lời chính xác các câu hỏi về thiên văn học và sinh học, mà phiên bản cơ sở không thể xử lý (ví dụ, về sự tồn tại của các vòng đeo quanh tất cả các hành tinh khổng lồ).

Theo lời tác giả chính của nghiên cứu, Borhi Aispuru, công trình này là bằng chứng của một khái niệm. Các khối lượng tử đã giúp dự đoán chính xác hơn token tiếp theo trong văn bản với chi phí tính toán tối thiểu

Nhóm nghiên cứu hy vọng sẽ tiếp tục giảm perplexity và tăng độ chính xác với số lượng tham số ít hơn so với các phương pháp hoàn toàn cổ điển.

Nhắc lại, vào tháng 5, giá cổ phiếu của các công ty lượng tử đã tăng sau khi Bộ Thương mại Mỹ công bố phân bổ 2 tỷ USD cho các công ty Mỹ trong khuôn khổ chương trình CHIPS R&D

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận