DeepSeek联合清北重磅硬核论文:发力智能体底层基建,击穿Agent推理I/O瓶颈

来源: 金色财经2小时前
,DeepSeekV4发布前夕硬核重磅论文上线。DeepSeek联合北大、清华研究团队提出了一种全新的大模型推理系统——DualPath。该系统通过引入“双路径KV-Cache加载”机制,巧妙利用了集群中闲置的网络带宽,将Agentic大模型负载的离线推理吞吐量提升了最高1.87倍,在线服务吞吐量平均提升了1.96倍。目前,这项研究已在包含多达1152张GPU的集群上完成了大规模验证,支持DeepSeek-V3.2660B等顶级大模型。(AI寒武纪)
利好利好
0
利空利空
0