¿Cómo entender: que el dinero que pagas por tokens en los grandes modelos de IA es en realidad el costo de alquilar potencia de cálculo de tarjetas gráficas?

En pocas palabras, los tokens son la 'unidad de ración mínima' del gran modelo de IA.

Es como cuando aprendimos a leer de niños: primero aprendemos caracteres individuales, y luego memorizamos directamente frases comunes más eficientemente.

La IA en realidad no reconoce caracteres chinos o inglés, solo reconoce números. Cuando introduces una frase, primero se divide en tokens individuales, cada token corresponde a un número de identificación, y lo que la IA realmente procesa es esta serie de números. Al generar salida, funciona al revés: primero genera números de identificación, luego los convierte de vuelta a texto para que los veas.

🔹¿Entonces, cómo sabe la IA cuál es la próxima palabra con mayor probabilidad?

Se basa en el entrenamiento con textos masivos, memorizando qué token tiene la mayor probabilidad de seguir a cada token. Todas estas probabilidades se almacenan en cientos de miles de millones de parámetros, como un 'manual de conocimiento' del gran modelo.

Al generar respuestas, la IA en realidad 'salta token a token', y cada vez que salta uno, debe recorrer todo el manual, calificar todas las palabras siguientes posibles en el diccionario y elegir la de mayor puntuación para generar.

🔹Por lo tanto, esto consume una cantidad especial de potencia de cálculo, la importancia de la GPU

La CPU es como un profesor inteligente pero de un solo hilo, incluso si voltea páginas rápidamente tiene límites. La GPU es como miles de estudiantes de primaria trabajando simultáneamente, dividiendo el manual en miles de copias, todos calculando en paralelo, barriendo decenas de millones de parámetros en un instante.

Por lo tanto, las tarjetas gráficas tienen dos características clave: cuantos más núcleos, más potente el cálculo paralelo. Ahora el mundo consume tokens frenéticamente, esencialmente son innumerables tarjetas gráficas en segundo plano volteando furiosamente el manual, calificando👇

Entonces, el dinero que pagas por tokens es en realidad el costo de alquilar potencia de cálculo de tarjetas gráficas.

Y hacer funcionar tarjetas gráficas requiere electricidad y almacenamiento, así que la industria lo resume en una frase:

La IA es escasa en potencia de cálculo a corto plazo, escasa en energía a largo plazo, y siempre escasa en almacenamiento.