文章总结： DeepSeek联合清华北大发布DualPath架构，旨在解决AI智能体推理中KV-Cache加载造成的存储带宽瓶颈。该方案利用解码引擎闲置网卡构建双路径传输，在不增加硬件的前提下，将推理吞吐量提升近两倍，为突破大模型推理I/O墙提供了极具价值的工程参考。
综合评分： 85
文章分类： AI安全,解决方案
当AI智能体开始”记忆过载”，DeepSeek祭出了这个绝招
原创
商密君
商密君
商密君
2026年2月27日 20:15
广东
已关注
关注
重播 分享 赞
关闭
观看更多
更多
退出全屏
切换到竖屏全屏退出全屏
商密君已关注
分享视频
，时长04:44
0/0
00:00/04:44
切换到横屏模式
继续播放
[ ]
进度条，百分之0
播放
00:00
/
04:44
04:44
倍速
全屏
倍速播放中
0.5倍 0.75倍 1.0倍 1.5倍 2.0倍
超清 流畅
继续观看
当AI智能体开始”记忆过载”，DeepSeek祭出了这个绝招
观看更多
转载
,
当AI智能体开始”记忆过载”，DeepSeek祭出了这个绝招
商密君已关注
分享点赞在看
已同步到看一看写下你的评论
视频详情
先说一件让工程师头疼的事。
你有没有注意到，现在的AI助手越来越“记得住事”了？哪怕对话进行了三十轮，它依然清晰记得最初的需求；让它编写代码，它能串联起数万个Token的上下文；像Claude Code、Cursor这类编程Agent，甚至能全程跟踪复杂项目的历史演变。
支撑这一能力的幕后功臣，是一项名为KV-Cache（键值缓存）的关键技术。不妨将其视作AI的“工作记忆”，每一轮对话产生的中间计算结果都暂存于此，下一轮直接调用，无需重复计算，从而保障了高效运行。
然而隐患随之而来。随着AI智能体对话长度增加、轮次累积，这份“工作记忆”急剧膨胀。处理长上下文任务时，KV-Cache体积动辄达到几十GB。
每当新一轮对话开启，系统必须将海量数据从硬盘搬运至内存。正是这个搬运过程，成为了制约AI推理系统速度的最大瓶颈。问题不在于GPU计算不够快，而在于数据根本喂不进去。
发现被忽视的资源“死角”
2月25日，DeepSeek联合清华大学、北京大学计算机学院，在arXiv上发表了一篇题为《DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference》的论文。
该研究由13位学者共同完成，基于DeepSeek自研推理框架，整合FlashMLA、DeepGEMM、DeepEP等内核组件，并以3FS分布式存储为底座，直接在工业级生产环境中验证了新方案的有效性。
研究团队洞察到一个关键问题：现代大规模推理系统普遍采用“预填充-解码分离”架构。其中预填充引擎负责理解问题并消化上下文，解码引擎则负责逐Token生成答案。
这两套机器各自配备独立网卡。在传统模式下，加载KV-Cache的任务完全由预填充引擎承担，导致其存储网卡负载爆满，而解码引擎的网卡却几乎处于闲置状态。这种资源分配的严重不对称，极大地限制了系统整体吞吐量。
这就好比厨房里有两条生产线：备料线和炒菜线。若所有食材仅通过备料线的大门运送，门口必然拥堵不堪；而炒菜线旁明明敞开着另一扇大门，却从未被利用。DeepSeek团队正是看到了这扇被忽略的“空门”。
DualPath：开辟第二条高速路
DualPath的核心思路简洁而有力：让解码引擎那闲置的网卡也参与到KV-Cache的加载工作中。
该方案构建了双路径模型。第一条是传统路径，数据直接从存储流向预填充引擎；第二条是新增路径，数据先从存储读入解码引擎的缓冲池，随后通过RDMA高速计算网络传输给预填充引擎。
或许会有疑问：绕道一圈，难道不会更慢？关键在于当前的智能体应用场景。此类场景对话轮次多、上下文长，KV-Cache命中率通常高达95%以上，意味着每轮对话都需要搬运大量旧记忆。
传统方式将所有压力集中于预填充网卡，而新增路径成功将这部分流量分流至解码侧的闲置网卡，总带宽得以提升，堵塞自然缓解。
更为精妙的是，新增路径行走的是计算网络而非存储网络。这条路径天然避开了网络拥塞，且不会干扰对延迟敏感的模型执行通信。两条路径的流量互不干扰，宛如行驶在各自的高速公路上。
此外系统还配备全局调度器，实时决策每个请求的路径选择：流量较小时走传统路径以省事，流量激增时开启新增路径进行分流，实现动态平衡。
系统架构与显著成效
DualPath推理系统由三个核心模块协同工作。推理引擎严格区分预填充和解码功能；流量管理器负责GPU显存与主机内存间的拷贝、跨引擎传输以及存储网卡读写；中央调度器作为大脑，实时决策请求路径，最大化全局带宽利用率。
整个实现仅需约5000行代码改动，叠加在DeepSeek原有推理框架之上。工程量虽不算庞大，但设计思路极具创新性。
实测结果令人振奋。在DeepSeek 27B、DeepSeek 660B及Qwen 32B三款模型上，使用真实生产级智能体工作负载进行评估，离线推理吞吐量最高提升1.87倍，在线服务吞吐量平均提升1.96倍，且完全符合服务等级目标。
换言之，在不增加任何GPU显卡、不升级存储硬件的前提下，仅通过重新规划数据流向，便实现了接近两倍的处理速度。这才是真正的软件红利。
为何此举意义重大？
当前AI正经历从聊天工具向自主智能体演进的关键节点。无论是Claude Code管理整个代码库，Manus完成复杂研究任务，还是各类Agent自主规划并执行多步骤工作流，这些场景均具备一个共同特征：极长的上下文与极多的对话轮次。而这恰恰是KV-Cache I/O压力最为集中的领域。
过去几年，AI领域倾注大量精力于让模型更强，追求更大的参数量、更优质的训练数据及更聪明的推理策略。随着模型能力日趋成熟，推理系统的效率已成为下一个核心战场：同样的模型，谁能以更快速度、更低成本运行，谁便拥有更强的商业竞争力。
DualPath直击智能体时代推理系统中的一个具体痛点。其意义不仅在于一篇技术论文，更像是一份工程蓝图。
它证明通过重新思考数据加载路径，能有效突破大模型推理的I/O墙，成功利用原本浪费的解码引擎I/O带宽，在不增加硬件成本的前提下，显著提升智能体LLM推理系统的效率。
结语
值得注意的是，DeepSeek选择在外界高度关注V4 Lite信息泄露的时间节点，悄然发布了这篇技术论文。没有发布会，没有营销炒作，直接投递至arXiv。这种风格颇具DeepSeek特色，技术本身就是最好的公关。
联合清华、北大发布这样一篇源自生产系统的工程论文，再次印证了中国顶尖高校与头部AI公司之间的产学研协作，正在产出实打实的系统级创新，而非仅仅停留在漂亮的Benchmark数字上。
KV-Cache的带宽墙或许只是智能体时代推理挑战的冰山一角，但能将冰山一角凿开一个两倍的口子，已属非凡成就。
编辑：陈十九
审核：商密君
征文启事
大家好，为了更好地促进同业间学术交流，商密君现开启征文活动，只要你对商用密码、网络安全、数据加密等有自己的独到见解和想法，都可以积极向商密君投稿，商密君一定将您的声音传递给更多的人。
来源：商密君
注：内容均来源于互联网，版权归作者所有，如有侵权，请联系告知，我们将尽快处理。
点分享
点点赞
点在看
免责声明：
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。
任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。
本文转载自：商密君 商密君
商密君《当AI智能体开始”记忆过载”，DeepSeek祭出了这个绝招》