Pourquoi la demande de SRAM a-t-elle soudainement explosé ? Regardez cette vague d’opérations.

Il y a quelque temps, peu après qu’un important fabricant de puces IA ait publiquement occupé une position dans un géant technologique, celui-ci a annoncé l’acquisition d’une société d’innovation sur puces. Cette chance reste de la force, et vous connaîtrez la réponse après un examen plus attentif.

Quelle est la force principale de cette entreprise ? Contrairement aux GPU traditionnels qui reposent sur une mémoire externe à haute bande passante (HBM), leurs processeurs LPU adoptent l’idée de conception de la mémoire SRAM (SRAM) statique intégrée à haute capacité. Ces 230 Mo de SRAM intégrée peuvent fournir jusqu’à 80 To/s de bande passante mémoire – quel est le concept de ce chiffre ? La vitesse de traitement des données écrase directement les solutions GPU traditionnelles.

Comment se passe-t-il réellement ? Leur service cloud est reconnu pour sa vitesse d’inférence incroyable. Lorsqu’il exécute des modèles open source de grande taille tels que Mixtral et Llama 2, il peut produire environ 500 jetons par seconde, ce qui n’est pas un ordre de grandeur comparé à la vitesse de réponse des services traditionnels. Les prix sont également compétitifs, et le coût par million de jetons est assez rentable.

Pourquoi est-ce si important maintenant ? Parce qu’un changement majeur a lieu dans l’ensemble du domaine de l’IA, les besoins d’inférence vont dépasser largement les besoins en formation. À cette époque, offrir une infrastructure d’inférence efficace, peu coûteuse et véritablement évolutive grâce à l’architecture innovante de la LPU est ce qui manque vraiment au marché. Le responsable d’une entreprise de puces a clairement indiqué qu’il comptait intégrer ce processeur à faible latence dans sa propre architecture d’usine d’IA, dans le but de servir un éventail plus large d’inférences d’IA et de charges de travail en temps réel.