O enigma da inferência do consumidor:

Vejo muitos projetos de inferência voltados ao consumidor trabalhando para reduzir o alto custo das APIs de fronteira
Métodos variam, mas a premissa é oferecer inferência mais barata em comparação com agregadores como OpenRouter
O desafio aqui é uma questão de timing
Hoje, os consumidores têm acesso a IA de fronteira altamente subsidiada
Muitas opções para consumidores obterem planos de inferência SOTA a partir de $10 e os planos de $200/mês oferecem uma quantidade insana de uso
Simplesmente não há demanda de consumidores por inferência de API pay-as-you-go, dado a existência desses planos subsidiados
*empresas são uma história diferente
Então, a principal hipótese para esses projetos voltados ao consumidor é que os subsídios desaparecerão em algum momento
Muitos esperam que os planos subsidiados fiquem mais caros ou que os laboratórios reduzam os limites, forçando a maioria a passar a cobrança por API
Armadilha clássica de isca e troca
Mas se/quando essas mudanças acontecerem é uma incógnita total
Portanto, se você é um construtor, pode estar certo na premissa, mas muito cedo no timing
Os melhores projetos que atuam nesse espaço precisam encontrar um ponto de equilíbrio em casos de uso fora da inferência de API de alto volume para consumidores, enquanto constroem capacidade para ser um provedor de baixo custo se/quando a armadilha de isca e troca ocorrer
Não é uma agulha fácil de costurar