端侧扩散语言模型dLLM：DiffuSpace×Acrab端侧Agent提速5倍

扩散语言模型团队DiffuSpace与端侧计算平台公司Acrab达成战略合作，适配测试显示dLLM可将端侧Agent运行速度提升5倍，部分场景达10倍，计划推进AI PC、智能汽车、机器人等端侧场景落地。

DiffuSpace与Acrab联合推出的端侧扩散语言模型（dLLM）优化方案，首次与端侧计算平台开展系统级协同适配，是当前端侧Agent推理加速领域的前沿落地成果，核心通过扩散架构的定向优化，把端侧Agent的综合推理速度提升5倍，同时大幅降低显存占用，解决了端侧设备上大模型Agent运行卡顿、资源占用过高的行业痛点。

一、技术细节

这套方案围绕扩散语言模型的推理全链路做了定向优化，核心技术点分为三部分：

扩散采样步数动态裁剪‌：针对端侧Agent的工具调用、短指令生成等高频场景，自动跳过扩散过程中冗余的采样步骤，把原本需要数十步的扩散生成过程压缩到仅8步，大幅减少计算量。
Acrab端侧算子深度适配‌：针对手机、边缘计算盒、机器人等端侧设备的NPU架构做算子级定制优化，把扩散模型的核心计算算子全部迁移到硬件加速单元运行，避免CPU侧的性能瓶颈。
DiffuSpace混合注意力轻量化改造‌：在保留扩散模型长序列理解能力的前提下，对注意力层做结构化剪枝，把模型的无效参数占比压缩到10%以内，大幅降低推理过程中的显存占用。

二、技术原理

与GPT类自回归模型"从左至右、逐Token生成"不同，dLLM借鉴图像生成中的扩散机制，采用"全局生成"——先形成全局内容框架，再结合上下文并行不断修正结果。

这种差异在端侧被放大：list⎋AIDEepThink.cn

自回归模型每次只生成一个Token，无法高效利用端侧芯片并行算力
扩散模型可将多个位置同时交给GPU处理，将并行计算能力转化为实际速度提升
Agent任务（规划→检索→工具调用→执行→校验）中模型被多次调用，每次延迟在任务链路中累加，5倍提速可显著缩短总时间

三、性能表现

在主流端侧设备上的实测数据，相比传统端侧Transformer大模型Agent方案有明显代际提升：

综合推理速度‌提升5倍‌，端侧Agent的单次工具调用响应延迟从过去的2秒以上压缩到0.4秒以内。
显存占用降低62%，在8GB内存的普通消费级手机上即可流畅运行，不需要依赖高端旗舰芯片。
工具调用成功率保持在92%以上，相比优化前的扩散模型方案，任务完成率没有出现明显损失。list⎋AIDEepThink.cn
支持主流端侧Agent场景：智能家居控制、机器人导航决策、本地代码补全、个人助理多轮交互等。

四、应用场景

这套方案本质上是把云端扩散模型的加速思路下沉到端侧场景，是当前端侧AI自主可控落地的重要技术方向：

场景	dLLM优势
AI PC Agent	同时处理邮件、日程、文件检索和计划生成，多步骤并行推演
Coding Agent	并行处理多个代码位置，提升代码生成与修改效率
视频剪辑智能体	全局建模能力协同处理图像、语音和文字等多模态信息
智能汽车/机器人	实时性要求高，并行解码满足低延迟需求

五、核心价值

这套方案直接打通了扩散语言模型在端侧Agent场景的落地路径，核心价值体现在三个维度：

大幅降低端侧Agent的硬件门槛，让中低端手机、普通边缘设备也能流畅运行具备复杂工具调用能力的端侧Agent，不需要依赖云端算力。
全程本地运行所有推理过程，用户的交互数据完全不会上传云端，彻底规避了端侧Agent场景下的隐私数据泄露风险。list⎋AIDEepThink.cn
相比传统Transformer端侧模型，扩散架构的优化空间更大，后续还能通过采样算法迭代进一步把推理速度再提升2-3倍，为端侧Agent的大规模普及打下技术基础。

六、局限与挑战

dLLM当前挑战包括：list⎋AIDEepThink.cn

缺乏成熟的算子、推理系统和基础设施（自回归生态已有FlashAttention等成熟工具链）。
训练dLLM更困难——需要暴露更多噪声和位置组合——但一次性训练成本可被长期推理效率抵消。