Amazon AWS desplegará el chip de IA a nivel de oblea Cerebras CS-3, junto con su propia plataforma Trainium.

robot
Generación de resúmenes en curso

IT之家3月16日消息,亚马逊AWS与晶圆级AI芯片企业Cerebras美国当地时间本月13日宣布,亚马逊的Amazon Bedrock平台在未来数月将部署结合双方芯片产品的混合AI推理系统,带来最快的负载处理速度。

这一解决方案将结合Cerebras的CS-3系统、亚马逊AWS的Trainium芯片和亚马逊AWS的EFA弹性网络适配器,由Trainium芯片负责推理的预填充(提示处理),而CS-3则承担解码(输出生成任务),两者通过EFA连接在一起。

IT之家了解到,推理预填充属于并行工作负载,要求大算力和适中的内存带宽;推理解码本质上是串行的,算力要求较小但内存带宽要求高。组合使用Trainium和CS-3能发挥两款AI芯片各自的长处,提供最佳的最终用户体验。

Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Anclado