Wu a appris que Brian Armstrong, PDG de Coinbase, a déclaré dans un article que l'entreprise a réduit ses dépenses en IA d'entreprise de près de moitié en optimisant son infrastructure, tout en voyant l'utilisation des jetons IA continuer de croître de manière exponentielle. Ses mesures clés de réduction des coûts incluent : utiliser des modèles open source tels que GLM 5.2 et Kimi 2.7 comme options par défaut pour la passerelle LLM interne, et faire correspondre les tâches avec les modèles les plus rentables grâce à un routage intelligent, tout en augmentant considérablement le taux de succès du cache d'outils comme LibreChat de 5 % à 60 %. Armstrong a souligné que l'objectif de la gestion des coûts de l'IA n'est pas de limiter l'utilisation, mais de rendre la croissance exponentielle durable en réduisant le gaspillage.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 7
  • 2
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
MechanicalHummingbird
· Il y a 6h
GLM 5.2 par défaut, cette vague de modèles nationaux à l'exportation est-elle considérée comme validée ?
Voir l'originalRépondre0
ElevatorMeme
· Il y a 12h
Croissance exponentielle + réduction de moitié des coûts, l'équipe d'infrastructure IA de Coinbase pourrait vendre des cours.
Voir l'originalRépondre0
GateUser-2bbf8435
· Il y a 13h
Brian a une idée originale : ce n'est pas de réduire le budget, mais de réduire le gaspillage. La quantité d'AI double et le coût baisse au lieu d'augmenter. C'est ça la vraie réduction des coûts et l'augmentation de l'efficacité.
Voir l'originalRépondre0
GateUser-ffe7bee5
· Il y a 13h
De 5% à 60%, cette optimisation du cache a probablement bien compris l'ingénierie des prompts.
Voir l'originalRépondre0
GateUser-870b5e71
· Il y a 13h
Existe-t-il une solution open source pour la mise en cache de LibreChat ? Je veux copier le travail.
Voir l'originalRépondre0
FragmentedSilverStarMap
· Il y a 13h
Taux de hits de cache de 60% passé de 5%, cette marge d'optimisation me rend jaloux, notre équipe interne lutte encore à 20%.
Voir l'originalRépondre0
SunshineCollector
· Il y a 13h
Le modèle open source + le routage intelligent, c'est vraiment une astuce redoutable, GLM et Kimi sont directement mis par défaut, et l'argent économisé permet de faire encore plus de tours d'entraînement.
Voir l'originalRépondre0