热点更新|❤里番绅士库全彩在线观看_社会新闻

首页 >新闻 >社会新闻

阿里通义宣布并行盘算新战略：1.6B等效4.4B，内存消耗骤降95%

2025-06-02 20:14:35

来源：

猫眼影戏

作者：

张若平

手机检察

　　猫眼影戏记者迈克尔·格拉夫斯报道w3u7903ejky2ywls

闻乐发自凹非寺量子位 | 民众号 QbitAI

既能提升模型能力，又不显著增加内存和时间本钱，LLM第三种Scaling Law被提出了。

关于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。

并且可直接应用于现有模型（如Qwen-2.5），无需重新训练。

这就是阿里通义团队提出的PARSCALE。

目前LLMs的优化主要有两种思路：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增加内存和时间本钱。

阿里通义团队提出的新范式受CFG（无分类器引导）双路径推理机制的启发。

他们将CFG的并行思想从 “生成阶段的推理优化” 扩展为 “训练和推理全流程的「盘算缩放」”。

让我们来扒一扒技术细节。

将CFG的并行思想扩展到盘算缩放PARSCALE关于CFG双路径的灵感迁移

CFG 通过同时运行有条件生成（输入提示词）和无条件生成（不输入提示词）两条路径，再通过加权平均融合结果，提升生成质量（如文内幕关性、图像细节精准度）。

其焦点在于利用并行盘算（两次前向流传）增强模型决策的多样性和准确性，而无需增加模型参数。

研究人员视察到CFG的有效性可能源于盘算量的增加（两次前向流传），而非纯粹的条件引导。

由此提出假设：并行盘算的规模（如路径数量）可能是提升模型能力的要害因素，而非仅依赖参数规�；蛲评硎奔涞拇欣┱梗ㄈ缟筛鄑oken）。

CFG用2条并行路径提升性能，PARSCALE则将路径数量扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行盘算成为一种可扩展的 “盘算缩放” 范式。下图展示了PARSCALE要领。

PARSCALE革新的并行盘算框架

1、输入层：可学习的多路径输入变换

焦点革新是将CFG的牢固双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入生成差别化输入。

前缀嵌入生成：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注意力层中，差别路径的键（K）和值（V）缓存相互独立，确保各路径的盘算互不打搅，增强输出多样性。

2、盘算层：并行前向流传

并行执行：将P个差别化输入同时输入模型，利用GPU的并行盘算能力，一次性完成P路前向流传，生成P个输出流。效率优势：通过批量矩阵运算实现P路并行，盘算效率随P线性增长，共享模型主体参数，仅增加前缀嵌入等少量可训练参数。

3、输出层：动态加权聚合

通过多层感知机（MLP）动态盘算各路径输出的聚合权重，替代 CFG 的牢固权重机制：若某路径输出与目今输入语义匹配度高，MLP 会为其分派更高权重。

PARSCALE更高效

PARSCALE vs. 参数扩展

当P=8时，1.6B参数模型在HumanEval的性能（Pass@1=39.1%）接近4.4B参数模型（Pass@1=45.4%），但内存占用仅为后者的1/22，延迟增加量为1/6。

在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%（相对基准），显著高于参数扩展的增益。

两阶段训练战略

阶段1：用古板要领预训练模型至收敛（1Ttokens）。

阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。

P=8模型在GSM8K上提升34%，且与重新训练效果相当，证明少量数据即可激活并行路径的有效性。且该战略使训练本钱降低约 98%

适配现有模型

研究团队在Qwen-2.5-3B模型上进行连续预训练和参数高效微调（PEFT），仅调解前缀和聚合权重。

结果显示，在代码生成任务（HumanEval+）中PEFT 要领使Pass@1提升15%，且冻结主体参数时仍有效，证明动态调解 P 的可行性。

PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的盘算缩放范式。

感兴趣的朋友可到官方检察更多细节～

论文链接：https://arxiv.org/abs/2505.10475代码地点：https://github.com/QwenLM/ParScale参考链接：https://x.com/iScienceLuvr/status/1923262107845525660

— 完 —

??时事1：歪歪羞羞漫画在线观看免费

??06月02日,坐着火车出国啦！五一中老铁路跨境客货运输双增长,

　　我们凭据城乡统筹、“四位一体”科学生长战略，深入推进“三个集中”和“六个一体化”，各项事业全面生长，开创出生长的新征程。去年，主要经济指标均实现重大突破，国地税收实现双双破亿。今年，各级党组织和共产紧紧围绕市委、市政府“产颐魅振兴年、投资增进年、革新攻坚年、治理提升年”的安排，全力以赴推进灾后重建收尾和田园都会示范区建设事情，在工业转型，工业经济日趋减少的现实压力下，1-6月国地税收总量抵达1.7亿元，居全市乡镇(街道)第一位。

,杨幂自慰喷水❌❌好爽。

??06月02日,拜登称不支持“台独” 国台办敦促美方将表态落到实处,

　　“大鹏，小青，让我来看一看你们的宝符。”小不点转头，将注意力放在另外两头青鳞鹰身上。

,18禁全彩肉肉无遮挡无码游戏苹果,毛利兰被学生会C到了高潮的小说,周防有希18❌本子免费。

??时事2：中国壮汉Gay壮熊U熊吃熊片

??06月02日,（澳门回归25周年）澳门工联总会：为澳门职工群众安居乐业竭诚服务,

,云韵被爆❌3D在线观看,欧美做受❌❌❌❌高91,skil女性向全部剧集介绍。

??06月02日,孙杨复出首秀夺小组第一晋级400米自由泳决赛,

　　被嫩绿柳枝拂过的蛋，霞光万道，瑞彩千条，光雾氤氲，像是一下子“神化”了，晶莹而璀璨，很是的惊人。

,美女被脱脱内内秘免费网站,雏田本子网站,雏田被扒开腿做❌同人网站。

??时事3：中原中也哭着太宰停下治

??06月02日,贵州广电传媒集团原党委委员宋霖被“双开”,

　　“你要明白，他敢与貔貅幼崽对决，同睚眦的子女酣战，其实力有何等可怕？让老一辈都心惊！”

,metcn模特庄媛的专辑,大🐔巴摩擦摩擦进去,成人app18㊙️免费破解版。

??06月02日,韩国4.8级地震共造成277处设施受损含国家遗产建筑,　　连日来，受高温少雨天气影响，黄河流域甘肃、内蒙古、山西、陕西、河南、山东等省（区）泛起差别水平的旱情。针对流域相关省（区）旱情，黄河防总和水利部黄河水利委员会（简称黄委）第一时间划分启动抗旱四级响应和干旱防御Ⅳ级应急响应；自6月14日17时起，针对河南省启动干旱防御Ⅲ级应急响应；要求各相关单位落实落细各项抗旱保供水步伐，做好旱情连续或进一步生长的应瞄准备。,91美女㊙️片黄在线观看用鞭子,动漫被❌羞羞动漫免费网站观看,极品白丝浴室自慰喷水流白浆。

??时事4：91麻豆精品aV一区二区三区在线

??06月02日,西藏自治区开通往返北京第三个城市航线,

　　作为一个小学生，爆发火灾怎么办？

,把放进里www网站,小欣奈糖心作品,美女被❌狂揉大胸视频。

??06月02日,腾龙“飞”入博物馆浙江嘉兴汉画明瓦迎新春,

　　“逼我动用宝术！”蛟鹏低语，脸上充血，赤红一片，脸孔近乎扭曲，接连被压制让他心中急躁，难以忍受。

,део+18一29,公牛与女人一级毛,15少年男同18少年男同。

【甘肃：三方面持续发力将资源大省打造成文旅强省】

【第二届环西自行车中国挑战赛北京昌平启动】

责编：羊马站

审核：明郅

责编：伊弗普

凯发天生赢家一触即发首页

阿里通义宣布并行盘算新战略：1.6B等效4.4B，内存消耗骤降95%

阿里通义宣布并行盘算新战略：1.6B等效4.4B，内存消耗骤降95%