主流媒体|男人㮑少妇A片成人用品日日弄_社会新闻

首页 >新闻 >社会新闻

扩散语言模型九倍推理加速！KV Cache并非自回归模型专属

2025-06-02 17:11:05

来源：

猫眼影戏

作者：

特雷沃-阿里扎

手机检察

　　猫眼影戏记者陈悦熊报道w3u7903ejky2ywls

EPIC Lab团队投稿量子位 | 民众号 QbitAI

首个用于加速扩散式大语言模型（diffusion-based Large Language Models, 简称 dLLMs）推理历程的免训练要领。

上海交通大学EPIC Lab团队提出了一种无需训练、即插即用的高效推理缓存机制：dLLM-Cache。

其焦点思想在于，在一个多步去噪历程中，复用相邻时间步上变革较小的特征，仅更新那些变革较大的特征，从而实现了盘算量的大幅降低，并坚持了原有的生成质量。

图1 差别dLLMs使用dLLM–Cache和不使用dLLM–Cache在速度和质量上的比照

dLLM-Cache具有几个重要的亮点：

1. 训练无关，即插即用。dLLM-Cache完全在推理历程中事情，无需修改模型参数或重训练。dLLM-Cache可以在完全不损失模型输出质量的前提下，带来最高9.1倍的推理速度提升。

2.通用于主流dLLM架构，如LLaDA、Dream以及LLaDA-V、MMaDA、Dimple等多模态模型。

3. 在推理历程中，首次识别出了prompt部分的Transformer中间层特征（Key、Value、Attention output、FFN output）恒久稳定，而response部分仅有一小部分tokens的特征变革较大，为缓存特征并后续复用提供了理论基础。

4. 独创了以V-verify机制为焦点的选择更新战略。以Value向量的变革为选择基准，乐成识别出了response部分变革较大的那些tokens，通过仅更新这些特征，摒弃了高达75%的冗余盘算。

本论文配合第一作者刘知远和杨奕存是哈尔滨工业大学2022级本科生，目前在上海交通大学EPIC Lab进行科研实习，师从张林峰助理教授，主要研究偏向为高效深度学习，此前曾在CVPR2025上收获满分论文。

接下来，我们一起来看看该研究的细节。

研究动机

基于扩散的大语言模型正成为语言生成领域最受关注的新范式之一。随着模型架构的生长、去噪算法的优化以及Masked Diffusion在语言建模中逐步展现出与自回归模型差别的建模能力，这类模型正在逐步成为挑战 GPT 等主流模型的重要力量。

以LLaDA、Dream为代表的扩散语言模型，基于迭代去噪的生成历程，不再依赖严格的自回归因果结构，天然支持双向建模、全局依赖和反向推理等能力，已经在“逆转诅咒”、数学推理等任务上展现出领先性能。

然而，这种范式的优势也陪同着巨大的价钱。为了确保生成的质量，dLLMs在推理历程中通常需要执行长达数百步的去噪迭代，每一步都需重新盘算attention、FFN等所有层的特征，盘算量相当于多次完整前向流传。这为dLLMs的推理效率带来了严重的瓶颈，制约了其实际安排。更重要的是，主流的加速手段如用于自回归模型的KV Cache，由于不兼容双向注意力架构，在dLLMs中完全失效。

与古板的自回归语言模型差别，dLLMs不再依赖顺序生成下一个token，而是接纳随机遮蔽(mask) + 逐步还原的方法建模token漫衍，这种机制使得模型具备天然的双向建模能力，理论上能够更好地处理逆向逻辑、长距离依赖等任务。

LLaDA 等模型已经在多个基准任务中逾越主流ARMs，尤其在“逆转诅咒”上明显胜出。

然而，这种扩散式推理带来一个严重的挑战：为了确保生成质量，dLLMs通常需要上百步的去噪迭代，每一步都需全量盘算Attention、FFN等�？�，导致其推理速度相比ARMs慢一个数量级，落地本钱高。同时，ARMs 通用的加速要领如KV-Cache因dLLMs的双向注意力设计而无法兼容。这些造成了dLLMs在推理时既慢又缺乏加速手段的现象。这正是 dLLM-Cache所要破解的焦点问题。

要领简介

本文作者仔细研究了dLLMs推理的中间特征变革历程，发明如下要害现象：

图2 dLLM中两个相邻去噪办法之间的Key、Value、Attention Output和FFN Output的余弦相似度

Prompt tokens的特征在整个去噪历程中基本坚持稳定，每一步都重新盘算这些特征是完全不须要且浪费盘算资源的；

Response tokens大都变革很小，仅少部分变革剧烈，全量盘算所有response tokens保存冗余。

由此，问题转化为了如何高效识别出这些变革剧烈的response tokens。

图3 Response tokens的K或V变革与其他特征变革的相关性

本文作者首创性得提出了V-verify机制。它的提出源于另一项重要的发明：作者量化了response tokens的底层特征（Key, Value向量）的变革与其上层庞大特征（Attention Output, FFN Output）的变革之间的关系，结果显示它们保存着极强的正相关性，皮尔逊相关系数最高可达0.944。

这意味着，一个token底层的Value向量是否爆发变革，是其整体状态是否爆发改变的一个极佳的、且盘算本钱极低的“指示器”。

基于以上这些要害的视察，本文作者提出了dLLM-Cache ，具体的框架设计如下：

图4 dLLM-Cache要领整体pipeline

Prompt缓存：长间隔重用

关于prompt部分，作者设计了长间隔Prompt缓存，每隔Kp步（在实验中一般设置为100）更新一次prompt的Key、Value、Attention Output、FFN Output，其余办法全部复用先前结果。这样制止了对稳定稳定的特征的重复盘算，大幅减少了盘算量

Response缓存：自适应部分更新

对生成目标response区域，由于response tokens的特征并不是一直坚持稳定稳定的，作者设计了较短间隔的Response缓存，每隔Kr步（在实验中一般设置为8左右）全量更新一次response的Key、Value、Attention Output、FFN Output，在其余的办法，作者提出了基于V-verify的自适应缓存战略

在每个去噪办法，首先盘算所有response tokens最新的Value向量。然后，通过盘算新Value向量与缓存中旧Value向量的余弦相似度，将余弦相似度作为每个response tokens的一个“变革分”。选出“变革分”最高（即相似度最低）的少少数tokens（例如，变革最剧烈的25%），将它们标记为“待更新” 。最后，模型只对这些被标记的“待更新”tokens，进行完整的特征重盘算。而其余75%的“稳定”tokens，则继续高效地从缓存中复用其特征

通过这种“长间隔”与“自适应”相结合的缓存战略，dLLM-Cache在Transformer的每一层都实现了盘算量的极致优化，且整个历程无需任何特别训练，做到了真正的即插即用

3 实验结果

本文在 LLaDA 8B和Dream 7B两大代表性的开源dLLM的基础版与指令微调版上，针对数学与科学、通用任务、代码生成三大领域的8个主流基准测试，对dLLM-Cache的有效性进行了严苛的检验。评估维度不但包括推理速度（TPS）盘算效率（FLOPs），更焦点的是模型性能得分（Score），以确保加速不是以牺牲模型能力为价钱

本文在LLaDA 8B的基础版和指令微调版上都安排了dLLM-Cache，下图的实验结果充分展示了其强大的加速能力和卓越的生成质量坚持。在险些所有的基准测试中，抵达了5倍以上的加速效果，且在绝大部分情况下，生成质量都没有降低，甚至有轻微的提升。特别是劈面对LongBench任务时，prompt的稳定性带来了更显著的加速效果，在HotpotQA上实现了高达9.1倍的无损加速

图5 dLLM-Cache在LLaDA模型上的效果

为了进一步证明dLLM-Cache的通用性和鲁棒性，作者将其无缝迁移至另一款架构略有差别的dLLM——Dream 7B上。下图的实验结果再次印证了dLLM-Cache要领的有效性，充辩白明了其通用于主流dLLM架构

图6 dLLM-Cache在Dream模型上的效果

作者还将dLLM和主流的基于ARM的LLM进行了比照，下图展示了LLaDA 8B与LLaMA3 8B在GSM8K任务上的比较。结果显示，原始的LLaDA在准确率上以近20个点的巨大优势领先于LLaMA3，但在推理速度上却远缺乏。然而，在使用了本文的dLLM-Cache之后，LLaDA的推理速度获得了凌驾3.3倍的提升，首次凌驾了LLaMA3的推理速度。这一结果有力地证明，本文提出的dLLM-Cache能够让dLLMs在坚持其显著准确率优势的同时，获得与ARMs相当竞争力的推理速度

图7 使用dLLM-Cache的dLLM vs 使用KV-Cache的ARM

论文链接： https://github.com/maomaocun/dLLM-cache/blob/main/asset/paper.pdf代码已开源： https://github.com/maomaocun/dLLM-Cache

??时事1：茶啊二中刘若琳裸体

??06月02日,天津茱莉亚学院2023-24乐季收官 218场音乐会上演,

　　“头角峥嵘，第一奇才，曾在我们天才营呆过，极其强悍，潜力惊人。”

,小🐤🐤戳进🍑无遮挡调教。

??06月02日,第十七届“香港杯”外交知识竞赛在港启动,

　　在这一刻，整片虚神界都一震，任何一种纪录都无人敢轻视，代表了某种领域的极尽，值得所有人去尊重。

,无尽❌裸体❌白丝❌动漫安全用电,国产传媒18精品免费观看,免费无遮挡🔞视频。

??时事2：动漫被到爽流奶单人直播

??06月02日,最高人民法院公布十年生态环境司法保护（修复）示范基地,

　　第二、加经学生治理，营造良好的学风。这是中考取得优秀结果的要害。

,校花让我❌她我爽了好久作文,美女裸体㊙️无遮挡网站悟空,男c女🔞黄秘❌B站游戏。

??06月02日,山东青岛：900余名人工智能应用技术技能人才同场竞技,

　　最后，对此次培训班提出三点希望。第一，珍惜时间，集中精力认真学习，听好课，做好条记;第二，认真遵守课堂纪律。第三，发挥理论联系实际的学风，结合目今和自己思想实际，回去深刻领悟学习内容并运用于实践当中。

,娇妻黑鬼+绿帽+受孕视频,韩国美女屁股㊙️无遮挡,少女的惩罚游戏2.0版本更新内容。

??时事3：JUX-698藤浦惠在线播放

??06月02日,以军称约160个来自黎巴嫩的“发射物”射向以北部,

　　四、增强出游宁静教育

,明日方舟R18❌羞羞漫画,扒开美女疯狂桶难受,日本丰满大乳❌❌❌。

??06月02日,江苏无锡首条市域轨道交通线开通运营,

　　80多年前，我们的民族积贫积弱，我们的国家风雨飘摇，处在民族危亡的历史关头。无数我们的前辈，他们可能与我们同样年轻，甚至比我们越发年轻，以满腔的报国壮志和爱国激情，抖擞抗争、救亡图存，用青春和力量、以鲜血和生命勇敢地担负起实现民族振兴的责任。今后，“五四”成为了中国青年心目中永远的精神符号!成为中国青年永远的配合节日!

,国产精品扒开腿做爽爽的视频,浪货今天就把你🌿到舒服男男,嗳潮生活馆。

??时事4：男男㊙️无遮挡拔萝卜

??06月02日,“最美戍边人”次仁罗布：守护西藏阿里边防线近40载,

　　这不是一头两头，而是足足四五十头，一群凶残的巨兽围了上来，远比狈村的人威胁大。

,扒开美女狂揉上门,枫散被扒开腿做❌同人漫画,姐孕动漫第一季在线观看免费完整番外翻译。

??06月02日,法国：一艘非法移民船倾覆 5人死亡,

　　通过以上两个故事，获得警示：好习惯成绩大未来，坏习惯失去好时机，所以说好习惯终身受益，精美源于细节，细节造就乐成，不肯做平凡的小事，就做不出大事。我列举了一些学生应该做到的好习惯：无妨告诉子女：

,小樱吃鸣人萝卜是哪一集,欧美性猛交吞精XXOO,动漫魅魔裸体秘无遮挡。

【炙烤模式“超长待机” 成都连续4天发布高温红色预警信号】

【活动丰富多彩乐享欢乐假期】

责编：塞尔

审核：黄歆

责编：许子欣

凯发天生赢家一触即发首页

扩散语言模型九倍推理加速！KV Cache并非自回归模型专属