博亚体育 智谱发布Infra新恶果:同等硬件插足,算力多出15%

博亚体育 智谱发布Infra新恶果:同等硬件插足,算力多出15%

  新浪科技讯 5月21日上昼音问,智谱当天通知落地部署了一项径直影响大模子推理效用的架构改换ZCube:线上Infra实测数据标明,在同等GPU设立下,将聚积带宽从200Gbps擢升至400Gbps,推理总隐隐擢升约10%,首响时延着落19%,这一章程跟着推理鸿沟扩大会越来越显耀。

  通过将ZCube插足在千卡级GLM-5.1的一个线上推理集群中,在GPU型号、软件栈、业务代码一说念不变的前提下,仅升级聚积架构,其与传统ROFT架构的对比GPU平均推理隐隐擢升15%以上,TTFT P99尾时延着落40.6%。

  这意味着,相似的硬件插左右,博亚体育app官网下载世界杯版(中国)官方入口智谱GLM大模子目下每秒能多反馈15%的API央求。关于业绩上百万缔造者的大模子API平台而言,这径直对应更高的并发上限、更低的列队蔓延,以及在流量峰值下更厚实的用户体验。

  资本端的变化相似彰着,ZCube 架构所需的交换机和光模块比原有有贪图少三分之一。鸿沟越大,这个差值越可不雅。

  更要道的是,这项升级的边缘资本接近于零:GPU 不换,业绩器不换,软件代码不改,耿介是组网架构的替换。这意味着智谱已有的算力钞票在同等插左右开释了更高的产出,突出于存量钞票的效用重估。

  据悉,ZCube本事被国外顶会ACM SIGCOMM 2025评价为“显耀改变总共行业对聚积的分解状态”,这次在智谱的落地奉行是ZCube架构初度在信得过大鸿沟推理集群中完成出产考据。(文猛)

2026世界杯赛事竞猜中国官网 海量资讯、精确解读,尽在新浪财经APP

包袱裁剪:江钰涵 博亚体育