¿A qué se debe la repentina explosión en la demanda de SRAM? Con solo observar esta operación, lo entenderás.

Hace poco, un fabricante líder de chips AI anunció que había tomado posición en una gran empresa tecnológica y, poco después, anunció la adquisición de una compañía innovadora en chips. ¿Es suerte o fuerza? Solo con un análisis detallado se puede encontrar la respuesta.

¿Dónde radica la ventaja principal de esta compañía? A diferencia de las GPU tradicionales que dependen de memoria externa de alta ancho de banda (HBM), sus procesadores LPU utilizan un diseño que integra en el chip una gran capacidad de memoria estática de acceso aleatorio (SRAM). Estos 230MB de SRAM en el chip pueden ofrecer un ancho de banda de memoria de hasta 80TB/s — ¿qué significa esta cifra? La velocidad de procesamiento de datos supera con creces a las soluciones tradicionales de GPU.

¿Y cómo es su rendimiento real? Sus servicios en la nube son famosos por su velocidad de inferencia sorprendente. Al ejecutar grandes modelos de código abierto como Mixtral y Llama 2, pueden generar aproximadamente 500 tokens por segundo, una respuesta mucho más rápida que los servicios tradicionales. Además, su precio es competitivo, con costos basados en millones de tokens que resultan bastante asequibles.

¿Por qué es tan importante esto ahora? Porque en todo el campo de la IA se está produciendo un cambio clave: la demanda de inferencia está a punto de superar por completo la demanda de entrenamiento. En este contexto, ofrecer una infraestructura de inferencia eficiente, de bajo costo y verdaderamente escalable mediante arquitecturas innovadoras como la LPU, es lo que realmente necesita el mercado. Un responsable de una compañía de chips afirmó claramente que planean integrar estos procesadores de baja latencia en su propia arquitectura de fábrica de IA, con el objetivo de atender una gama más amplia de cargas de trabajo de inferencia y en tiempo real.