ME News Noticias, 18 de abril (UTC+8), según la monitorización de Dongcha Beating, Moonshot AI y la Universidad de Tsinghua publicaron el 16 de abril en arXiv un nuevo artículo titulado «Prefill-as-a-Service», que propone que la fase de prellenado (prefill) para la inferencia de grandes modelos se ejecute entre centros de datos. La inferencia de grandes modelos consta de dos pasos: prefill, que lee toda la entrada de una vez y genera una caché KV; y decode, que produce el resultado carácter por carácter basándose en esa caché. Los requisitos de hardware para ambos pasos son completamente diferentes: prefill requiere potencia de cálculo, mientras que decode necesita memoria de vídeo y ancho de banda. La práctica principal en la industria es separar estos pasos en diferentes máquinas (separación PD), pero esto requiere que ambos lados estén conectados en el mismo centro de datos mediante RDMA, ya que la caché KV de modelos de atención intensiva genera decenas de Gbps por segundo, y si la transmisión es lenta, la GPU queda inactiva. La innovación proviene de un nuevo modelo de atención híbrida de última generación. El artículo informa que modelos como Kimi Linear, MiMo-V2-Flash, Ring-2.5-1T, entre otros, combinan unas pocas capas completas de atención con muchas capas lineales, reduciendo aproximadamente en un orden de magnitud la capacidad de transmisión de la caché KV; Ring-2.5-1T logra una compresión total de hasta 36 veces. Con esto, la caché KV puede trasladarse de una red RDMA dedicada a una red Ethernet común para su transmisión. La implementación de PrfaaS consiste en crear un «clúster de prellenado» independiente, que solo enruta solicitudes de contextos largos, prefijos no encontrados y solicitudes de caché no hit, dejando las solicitudes cortas en el clúster PD local; tras completar el prellenado, la caché KV se transmite de vuelta al clúster local mediante Ethernet para realizar el decode. Además, se introducen rutas con umbrales de longitud, planificadores sensibles al ancho de banda y un pool de caché de prefijos híbridos. El artículo presenta pruebas con un modelo híbrido de 1T parámetros interno (basado en la arquitectura Kimi Linear), que muestra que el rendimiento total del servicio es un 54% superior a una implementación PD homóloga, y un 32% superior a una solución heterogénea simple, utilizando solo un ancho de banda moderado entre centros de datos por máquina. (Fuente: BlockBeats)

Ver original

Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.

13 me gusta

Recompensa
13
7
1
Compartir

Comentar

Añadir un comentario

GateUser-57ab9c02

· hace2h

Solicitar que se quede localmente es muy razonable, para evitar hacer una tormenta en un vaso de agua

Ver originalResponder0

Cream-ColoredCross-ChainBridge

· hace2h

La heterogeneidad simple puede ser superada en un 32%, la brecha en infraestructura básica es grande

Ver originalResponder0

CandleSitter

· hace2h

PD separación lleva la diversión a un nuevo nivel

Ver originalResponder0

MidnightReconciler

· hace2h

La cara oculta de la luna, esta oleada de salida técnica está bien

Ver originalResponder0

WatercolorGlassBottle

· hace3h

La explicación de la programación consciente del ancho de banda realmente muestra que han cometido errores

Ver originalResponder0

MistValleySignpost

· hace3h

¿Cómo se diseña el mecanismo de sincronización para la retroalimentación de decodificación?

Ver originalResponder0

SeaSaltMintCandy

· hace3h

Me parece especialmente amigable para escenarios de contexto largo

Ver originalResponder0

Temas de actualidad
Ver más
#
WinGoldBarsWithGrowthPoints
1.21M Popularidad
#
WTICrudeFallsBelow90Dollars
1.18M Popularidad
#
IsraelStrikesIranBTCPlunges
51.36K Popularidad
#
StockTradingChallengeUpTo17000U
190.63K Popularidad
#
USIranNegotiationGame
9.41M Popularidad

Fijado

La cara oculta de la luna y la nueva publicación de Tsinghua: La prellenado de LLM puede cruzar centros de datos, el modelo de 1T aumenta el rendimiento en un 54%

Temas de actualidad

WinGoldBarsWithGrowthPoints

WTICrudeFallsBelow90Dollars

IsraelStrikesIranBTCPlunges

StockTradingChallengeUpTo17000U

USIranNegotiationGame

Fijado