DeepSeek聚会北京大学、清华大学发布了篇题为《DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference》的论文，冷酷了种翻新的理系统架构鞍山设备保温施工，直指现时谣言语模子在多轮Agent交互场景下的中枢能瓶颈。

论文开篇指出了个弥留趋势：LLM正在从单轮对话机器东谈主演变为或者自主缠绵、调用器用、惩处实践全国任务的Agentic系统。在这种新范式下，模子不再处理一身的辅导词，而是参与长达数十以至数百轮的恒久会话，高下文不休累积。

这种变化带来了全新的诡计特征：KV-Cache（键值缓存）射中率、低诡计需求。论文中的数据示，在典型的编码任务轨迹中，平均轮次达到157轮，平均高下文长度32.7K tokens，而每次追加的平均长度仅429 tokens，这意味着KV-Cache射中率达98.7。

这种“长高下文、短追加、多轮次”的职责负载口头，使得KV-Cache的加载率而非诡计率成为主能的要道身分。

现存架构的致命瑕玷鞍山设备保温施工

现时主流的LLM理系统大皆采纳预填充-解码辨别架构。在这种联想中，预填充引擎端庄从漫衍式存储加载KV-Cache，然后传输给解码引擎进行自转头生成。

但是，论文揭示了个严重的资源讹诈不屈衡问题：预填充引擎的存储鸠合带宽成为通盘系统的混沌瓶颈，而解码引擎的存储鸠合带宽却基本闲置。

令东谈主担忧的是硬件发展趋势。论文数据示，从NVIDIA Ampere架构到Blackwell架构，I/O与诡计的比例下落了14.4倍。这意味着GPU算力增长期快于鸠合带宽和HBM容量的增长，致I/O瓶颈问题日益严重。

DualPath的翻新冲破

面对这挑战鞍山设备保温施工，DeepSeek团队冷酷了个反直观的惩处案：让KV-Cache加载不再局限于预填充引擎。

DualPath的中枢知悉是：不错讹诈解码引擎闲置的存储带宽来加载KV-Cache，然后通过能RDMA诡计鸠合传输给预填充引擎。这种“双旅途加载”架构将存储I/O从单瓶颈资源滚动为全局可调整的容量池。

具体已毕中，DualPath在预填充引擎妥协码引擎上各分拨少许DRAM手脚缓冲区。当采纳传统的预填充读取旅途时，KV-Cache从存储加载到预填充引擎缓冲区，管道保温施工然后逐层传输到GPU HBM进行诡计，后传输给解码引擎。而当采纳新颖的解码读取旅途时，KV-Cache先加载到解码引擎缓冲区，然后在预填充诡计流程中逐层传输给预填充引擎。

已毕这联想濒临三个要道挑战：

，细粒度数据传输。 层式预填充技巧将KV-Cache分割成宽绰细粒度块，传输这些小块数据需要低的支拨。DualPath通过联想两种块布局（全量块和层块）来化传输率。

二，流量约束。 疏淡的KV-Cache传输流量可能与模子实践中的蔓延敏锐型集体通讯产生干涉。DualPath采纳CNIC中心化的数据传输式，悉数收支GPU的数据皆必须通过GPU配对的诡计NIC，并讹诈InfiniBand的编造通谈技巧已毕严格的流量分。

三，动态负载平衡。 系统需要在线决议每条肯求使用哪条加载旅途。DualPath联想了两调整算法，抽象推敲存储NIC队伍长度、GPU诡计负载和肯求特征，已毕诡计和鸠合资源的聚会平衡。

理混沌量晋升近2倍

论文在三个模子上进行了评估：DeepSeek-V3.2 66B、个27B的降范围版块以及Qwen2.5-32B。

实验数据令东谈主印象刻：在离线批处理理场景（如强化学习磨练中的 rollout 阶段）中，DualPath比拟基线系统已毕了1.87倍的混沌量晋升。在在线职业场景中，DualPath在不违背SLO的前提下，平均晋升了1.96倍的Agent每秒处贤达商。

推敲团队还在多达1152块GPU的范围上考证了DualPath的可彭胀。从2个预填充引擎+4个解码引擎彭胀到48+96设置时，系统已毕了接近线的加快。在在线职业场景中，44+88设置已毕了22倍的混沌量晋升，同期保捏相同的蔓延特征。

同期，论文也指出了往时职责向：自适当、活泼的并行度和预填充-解码比例设置法，以及在大范围部署中已毕低的TTFT（Time To First Token）百分位数。

在万众期待DeepSeek-V4之际鞍山设备保温施工，这篇论文展示了DeepSeek团队在系统层面的厚积攒。DualPath的翻新不仅惩处了现时Agentic LLM理的中枢瓶颈，也为往时大范围、复杂的多轮交互应用铺平了谈路。（宜月）