Le casse-tête de l'inférence pour le consommateur :

Je vois beaucoup de projets d'inférence orientés consommateur qui tentent de résoudre le coût élevé des API de pointe
Les méthodes varient, mais le principe est de fournir une inférence moins chère par rapport aux agrégateurs comme OpenRouter
Le défi ici concerne le timing
Aujourd'hui, les consommateurs bénéficient d'une IA de pointe fortement subventionnée
Beaucoup d'options pour que les consommateurs obtiennent des plans d'inférence SOTA à partir de 10 $ et les plans à 200 $/mois offrent une quantité incroyable d'utilisation
Il n'y a tout simplement pas autant de demande de la part des consommateurs pour une inférence API à la demande, étant donné l'existence de ces souscriptions
*les entreprises sont une histoire différente
Donc, l'hypothèse clé pour ces projets orientés consommateur est que les subventions disparaîtront à un moment donné
Beaucoup s'attendent à ce que les plans d'abonnement deviennent plus chers ou que les laboratoires réduisent les limites, forçant finalement la majorité à passer à la facturation API
Le classique attrape-nigaud
Mais si/cette survenance de ces changements est totalement inconnue
Par conséquent, si vous êtes un constructeur, vous pourriez être juste sur la prémisse mais trop tôt sur le timing
Les meilleurs projets dans ce domaine doivent trouver un PMF dans des cas d'utilisation en dehors de l'inférence API à haute volumétrie pour consommateurs tout en construisant une capacité à être un fournisseur à faible coût si/cette astuce du piège et du switch se produit
Ce n'est pas une aiguille facile à enfiler