En la era de la Revolución Industrial, cuanto más barato era el carbón, más se quemaba. Ahora, en la era de la IA, los Tokens son así también.


Cuando los Tokens son baratos, los productos de IA en realidad pueden quemarlos aún más.
Antes, si preguntabas una vez, el modelo respondía una vez, y eso era todo.
Ahora, con un clic, el Agente descompone tareas, busca información, ajusta herramientas, escribe código, corrige errores, resume, y ejecuta todo un proceso.
Por eso, un solo Token es más barato, pero una tarea consume muchos más Tokens.
Esa es la razón por la que la factura sigue aumentando.
Después de que la máquina de vapor ahorró más carbón, Reino Unido no dejó de quemar carbón. Porque el carbón se volvió más rentable, y más máquinas, fábricas y ferrocarriles comenzaron a quemarlo.
Los Tokens siguen esa lógica.
Después de que son baratos, los Agentes, la Investigación Profunda, la Programación de IA, los contextos largos y la automatización empresarial realmente despegan.
Por eso, el centro de costos de la IA está pasando del entrenamiento a la inferencia.
El entrenamiento consume durante un tiempo, la inferencia se consume continuamente.
Cuando los usuarios están en línea, se sigue quemando.
El Agente está en marcha, se sigue quemando.
Cuanto más largo sea el contexto, mayor será la caché, y la memoria, el ancho de banda, la electricidad y la disipación de calor también se vuelven más críticos.
Por eso, la cadena de la industria de IA no puede centrarse solo en las GPU.
HBM, DRAM, SSD, empaquetado avanzado, módulos ópticos, chips de conmutación, CPU, chips de inferencia, todos serán reevaluados por esta demanda de inferencia.
Las empresas de aplicaciones de IA también se verán obligadas a estratificarse.
Las que solo ofrecen una interfaz y dependen completamente de API cerradas, a medida que aumentan los usuarios, la factura será mayor y el margen de ganancia más delgado.
Las verdaderas barreras se desplazarán hacia abajo: enrutamiento, cuantificación, caché, procesamiento por lotes, recorte de contexto, sustitución de grandes modelos por modelos pequeños.
Sí, los Tokens son como el carbón.
Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Anclado