IBM a accéléré le modèle d'IA avec un processeur quantique - ForkLog : cryptomonnaies, IA, singularité, avenir

# IBM a accéléré un modèle d'IA avec un processeur quantique

Les chercheurs de Multiverse Computing ont annoncé une amélioration quantique d'un grand modèle linguistique sur du matériel IBM. Il s'agit d'un schéma hybride utilisant un processeur Heron de 156 qubits.

Les auteurs ont qualifié l'expérience de première « amélioration quantique intégrale » du LLM sur un processeur supraconducteur pour la génération automatique de texte.

Dans les tests, ils ont utilisé Llama 3.1 8B de Meta. Le modèle de base n'a pas été réentraîné : ses paramètres ont été « gelés » et des adaptateurs quantiques — des adaptateurs unitaires paramétrés par Cayley (CUA) — ont été ajoutés. Ils ont d'abord été entraînés de manière classique, puis connectés à un schéma hybride quantique-classique.

L'expérience a été réalisée sur IBM Quantum System Two — une architecture pour systèmes quantiques hybrides. L'installation a utilisé une puce Heron de 156 qubits.

La version hybride a réduit la perplexité de Llama 3.1 8B de 1,4 %. Pour cela, environ 6000 paramètres ont été ajoutés — soit environ 0,000075 % de la taille du modèle.

Lors de la démonstration, la version améliorée quantiquement de Llama a répondu correctement à des questions en astronomie et en biologie, auxquelles la version de base n'avait pas réussi (par exemple, sur la présence d'anneaux autour de toutes les planètes géantes).

Selon le principal auteur de l'étude, Borja Aispuroa, le travail constitue une preuve de concept. Les blocs quantiques ont permis de prédire plus précisément le token suivant dans le texte avec des coûts de calcul minimaux.

L'équipe espère réduire encore la perplexité et augmenter la précision avec moins de paramètres par rapport aux approches entièrement classiques.

Rappelons qu'en mai, les cotations des entreprises quantiques ont augmenté après l'annonce du ministère américain du Commerce concernant l'allocation de 2 milliards de dollars aux entreprises américaines dans le cadre du programme CHIPS R&D.