El enigma de la inferencia del consumidor:

Veo muchos proyectos de inferencia orientados al consumidor que trabajan para abordar el alto costo de las APIs de frontera
Los métodos varían, pero la premisa es ofrecer inferencia más barata frente a agregadores como OpenRouter
El desafío aquí es uno de tiempo
Hoy, los consumidores obtienen IA de frontera altamente subsidiada
Hay muchas opciones para que los consumidores obtengan planes de inferencia SOTA a partir de $10 y los planes de $200/mes ofrecen una cantidad insana de uso
Simplemente no hay tanta demanda de los consumidores para inferencia API de pago por uso dado la existencia de estos planes subsidiados
*las empresas son una historia diferente
Así que la suposición clave para estos proyectos orientados al consumidor es que los subsidios desaparecerán en algún momento
Muchos esperan que los planes subsidiados se vuelvan más caros o que los laboratorios reduzcan los límites, forzando eventualmente a la mayoría a la facturación por API
Engaño clásico de gancho y cambio
Pero si/cuándo ocurren estos cambios es un completo desconocido
Por lo tanto, si eres un creador, podrías estar en lo correcto con la premisa pero demasiado temprano en el tiempo
Los mejores proyectos que trabajan en este espacio necesitan encontrar un ajuste en el mercado en casos de uso fuera de la inferencia API de alto volumen para consumidores, mientras construyen capacidad para ser un proveedor de bajo costo si/cuando ocurra el gancho y cambio
No es una aguja fácil de enhebrar