O enigma da inferência do consumidor:

Vejo muitos projetos de inferência orientados ao consumidor trabalhando para enfrentar o alto custo das APIs de fronteira
Os métodos variam, mas a premissa é fornecer inferência mais barata em comparação com agregadores como o OpenRouter
O desafio aqui é uma questão de timing
Hoje, os consumidores recebem IA de fronteira altamente subsidiada
Muitas opções para os consumidores obterem planos de inferência SOTA a partir de 10 dólares e os planos de 200 dólares por mês oferecem uma quantidade insana de uso
Simplesmente não há tanta demanda de consumidores por inferência API pay-as-you-go, dado a existência desses planos subsidiados
*empresas são uma história diferente
Portanto, a suposição principal desses projetos orientados ao consumidor é que os subsídios desaparecerão em algum momento
Muitos esperam que os planos subsidiados se tornem mais caros ou que os laboratórios reduzam os limites, eventualmente forçando quase todos a pagar por API
Armadilha clássica de isca e troca
Mas se/quando essas mudanças acontecerem é uma incógnita completa
Portanto, se você é um construtor, pode estar certo na premissa, mas demasiado cedo no timing
Os melhores projetos que atuam nesse espaço precisam encontrar um ajuste de mercado em casos de uso fora da inferência de API de alto volume para consumidores, enquanto constroem capacidade para ser um provedor de baixo custo se/quando a armadilha de isca e troca ocorrer
Não é uma agulha fácil de costurar