猫眼电影记者 安冬旭 报道w3u7903ejky2ywls

在大语言模型（LLM）领域，推理效率是制约其实际应用的关键因素之一。谷歌 DeepMind 的 Gemini diffusion 曾以1400 tokens / 秒的生成速度震惊学界，展现了扩散模型在并行生成上的潜力。然而，开源扩散 LLM 却因缺乏 KV 缓存机制和并行解码质量衰退，实际推理速度长期被自回归模型压制.

近日，NVIDIA 联合香港大学、MIT 等机构重磅推出Fast-dLLM，以无需训练的即插即用加速方案，实现了推理速度的突破！

论文：Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding项目地址：https://nvlabs.github.io/Fast-dLLM论文链接：http://arxiv.org/abs/2505.22618GitHub 链接：https://github.com/NVlabs/Fast-dLLM

通过创新的技术组合，在不依赖重新训练模型的前提下，该工作为扩散模型的推理加速带来了突破性进展。本文将结合具体技术细节与实验数据，解析其核心优势。

一、 核心技术

分块 KV 缓存与置信度感知并行解码

1. 分块 KV 缓存（Block-Wise KV Cache）：激活重用率超 90% 的双向加速

传统扩散模型因双向注意力机制难以直接复用计算结果，导致长序列推理效率低下。Fast-dLLM 提出分块 KV 缓存机制，通过以下设计实现高效计算：

双向缓存策略：采用 DualCache 同时缓存前缀（Prompt）和后缀（Masked Tokens）的注意力激活值（KV Cache），如图 1 (a)(b) 所示。在分块生成时，前序块的 KV 激活可直接复用于后续块，减少重复计算。高相似度验证：实验表明，相邻推理步骤的 KV 激活余弦相似度接近 1（图 2），证明缓存复用的可行性。例如，在 LLaDA 模型中，通过缓存可实现 90% 以上的激活重用，单步计算量显著降低。

2. 置信度感知并行解码（Confidence-Aware Parallel Decoding）

并行解码虽能提升速度，但条件独立假设易破坏 token 依赖关系，比方说这个例子 The list of poker hands that consist of two English words are: _ _.。后续两个单词可以是 “high card,” “two pair,” “full house,” 或者是 “straight flush.”。值得注意的是，这两个单词之间存在关联。

然而，MDMs 中的多令牌预测过程首先为每个令牌生成一个概率分布，然后从这些分布中独立采样。这种独立采样可能导致不理想的组合（如生成 “high house” 等无效组合）。Fast-dLLM 通过动态置信度筛选解决这一问题（所谓置信度，是指模型给 token 赋予的概率大小）：

阈值激活策略：仅对置信度超过阈值（如≥0.9）的 token 进行并行解码，低置信度 token 留待后续步骤处理。如图 3 所示，该策略可在保证生成质量的前提下，并行输出多个 token。理论证明：当 (n+1)ϵ≤1 时（n 为并行解码 token 数，并且并行解码的 n 个 token 的置信度都大于 1-ϵ），贪婪解码策略下并行解码与顺序解码结果一致，从数学层面确保了生成逻辑的连贯性。

3. 伪代码：分块 KV 缓存与置信度感知并行解码流程

以下是 Fast-dLLM 算法的核心伪代码，结合了分块 KV 缓存以及置信度感知并行解码，无需训练就可以在现有的开源 Diffusion LLM（如 LLaDA、Dream）上即插即用进行推理加速。

二、 性能突破

速度与精度的均衡优化

1. 长文本生成：27.6 倍端到端加速

在 LLaDA 模型上，针对 1024 token 的长文本生成任务，Fast-dLLM 将单步延迟从 0.26 秒降至 0.09 秒，整体耗时从 266 秒压缩至 12 秒，实现 27.6 倍端到端加速。这一提升在代码生成、数学推理等长序列场景中尤为显著，例如 8-shot 提示的 GSM8K 任务中，加速后仍能保持 76% 的准确率。

2. 精度保持：损失 < 2% 的基准测试表现

在主流基准测试中，Fast-dLLM 的准确率损失控制在 2% 以内：

GSM8K（5-shot）：LLaDA+Fast-dLLM 准确率为 78.5%，仅比基线低 0.8%，但吞吐量提升 8.1 倍（图 5）。HumanEval（代码生成）：准确率达 44.5%，较基线提升 1.2%，同时吞吐量提升 3.7 倍。多模型兼容：在 LLaDA、Dream 等模型上均实现高效加速，验证了技术的通用性。

三、 应用价值

无需训练的即插即用方案

Fast-dLLM 的零训练成本特性使其成为理想的推理优化工具，能够快速集成到现有的系统中。对于那些已经在使用扩散模型的企业和开发者来说，可以在不改变模型架构和训练流程的基础上，直接利用 Fast-dLLM 提升推理效率，缩短长文本生成耗时，为实际部署提供更可行的方案。

四、 总结与展望

Fast-dLLM 通过分块 KV 缓存与置信度感知并行解码的创新组合，实现了扩散模型推理效率的跨越式提升，同时保持了生成质量的稳定性。其技术设计为非自回归生成模型提供了新的优化范式，有望推动扩散模型在实时交互、长文本生成等场景中的广泛应用。未来，随着模型规模的扩大和蒸馏技术的深化，Fast-dLLM 或将进一步缩小与自回归模型的性能差距，成为 LLM 推理加速的核心方案之一。

  时事1：赵露思裸被高清网站

  06月03日,藏医白淑军：破解藏医药传承“密码”,

　　就如同狈村的那条兽牙串一般，符文与莹白兽齿凝结，最神秘处已然不可观，只能成为一条兽牙宝具，而得不到宝术。

,原神同人18❌动漫裸体。

  06月03日,这支青年突击队完成跨国界运输大考,

　　小不点抬手，一巴掌拍了过去，喀嚓一声战矛折断，而此人则直接横飞了起来，摔出去数十米远，撞在一块巨大的山石上才止住去势，当即瘫在那里不动了。

,琪琪黄鳍典故,freeHD❌❌❌中国麻豆黑料,女性裸体被❌羞羞被扒胸衣。

  时事2：🌸✿极品白丝✿🌸白皙mba

  06月03日,四大趋势显现，今年的楼市很关键！,

　　凶兽击在老狈的身上，符文交织，神辉绽放，如两颗彗星撞在一起，在夜空中发出刺眼的强光。

,免费🔞无码进口,g4::vore官网链接,巨胸爆乳❌❌❌护士。

  06月03日,“千年石城”见贤思齐 “乡贤人才库”赋能浙江强镇,

　　您们好，瑞特公司自开业以来，在社会各界朋友们的帮助下，发展和壮大，取得了良好的社会效益和经济效益，给很多的家庭带来健康的同时，也使我们的员工增加了收入改变了自己的生活命运，培养了一大批农民当起了合格的工人。瑞特公司也从最初的起步阶段进入到了一个全面发展的时期，所以当今天我们在享受着累累硕果的时候。首先，我代表公司及全体同仁向您们及您们的家人表示诚挚的问候和衷心的感谢!感谢您们对瑞特的鼎力协助，感谢您们对瑞特的高度信任，感谢您们的韧性与坚持!公司的发展，企业的壮大，无不浸透着各位朋友们的辛勤汗水和默默耕耘。千言万语化作一句话：感谢您们!

,纲手被❌吸乳脱内内,涩涩amsr在线网站,欧美∨iboss。

  时事3：云曦被爆❌3D在线观看

  06月03日,不断深化对全过程人民民主的认识(学苑论衡),

　　“紫山侯动了，遣出了他的子嗣，云坤带上你的几个弟弟也去，只要见到紫山侯家的几个天才就给我揍！”

,泳装美女不遮副乳,секс9′,抖音八酱的爆料网站。

  06月03日,星空有约！月掩海王星天象在天宇上演,

　　小不点抬起手臂，符文亮起，双臂都密布很多纹络，灿灿生辉，而后一指点出，嗤的一声的飞出一只赤红的小雀儿，让前方一株大树燃烧了起来。

,鱼哥星野最新视频,涩涩漫画免费观看,把腿张开老子臊烂你演员表。

  时事4：TS金娜娜赵恩静合作项目

  06月03日,即将重新开放 巴黎圣母院夜色中灯火辉煌,

　　鼎内沸腾，淡金色的药液芬芳无比，并伴有祭祀音，以及诸神的吟唱，显得很神秘，宛若一炉神药将出。

,天海翼被躁57分钟黑人解禁,成人H漫画一区二区无码,珍妮模组完整版无遮掩。

  06月03日,【滔滔两岸潮】台湾“小豌豆”南昌成长记：冀架起两岸青少年交流桥梁,

　　“这是龙角象的骸骨，真是可怕，一头凶禽居然动辄就要吃巨象！”二猛惊憾。

,美女扒开屁股爽30分钟动漫网站,蒂法被扒开腿坐做❌,爆❌喷水❌洗澡❌真人视频。