今日头条|秦怡宁vam精品3d无码_社会新闻

首页 >新闻 >社会新闻

阿里通义宣布并行盘算新战略：1.6B等效4.4B，内存消耗骤降95%

2025-06-04 15:33:14

来源：

猫眼影戏

作者：

朴正川

手机检察

　　猫眼影戏记者李定昌报道w3u7903ejky2ywls

闻乐发自凹非寺量子位 | 民众号 QbitAI

既能提升模型能力，又不显著增加内存和时间本钱，LLM第三种Scaling Law被提出了。

关于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。

并且可直接应用于现有模型（如Qwen-2.5），无需重新训练。

这就是阿里通义团队提出的PARSCALE。

目前LLMs的优化主要有两种思路：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增加内存和时间本钱。

阿里通义团队提出的新范式受CFG（无分类器引导）双路径推理机制的启发。

他们将CFG的并行思想从 “生成阶段的推理优化” 扩展为 “训练和推理全流程的「盘算缩放」”。

让我们来扒一扒技术细节。

将CFG的并行思想扩展到盘算缩放PARSCALE关于CFG双路径的灵感迁移

CFG 通过同时运行有条件生成（输入提示词）和无条件生成（不输入提示词）两条路径，再通过加权平均融合结果，提升生成质量（如文内幕关性、图像细节精准度）。

其焦点在于利用并行盘算（两次前向流传）增强模型决策的多样性和准确性，而无需增加模型参数。

研究人员视察到CFG的有效性可能源于盘算量的增加（两次前向流传），而非纯粹的条件引导。

由此提出假设：并行盘算的规模（如路径数量）可能是提升模型能力的要害因素，而非仅依赖参数规�；蛲评硎奔涞拇欣┱梗ㄈ缟筛鄑oken）。

CFG用2条并行路径提升性能，PARSCALE则将路径数量扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行盘算成为一种可扩展的 “盘算缩放” 范式。下图展示了PARSCALE要领。

PARSCALE革新的并行盘算框架

1、输入层：可学习的多路径输入变换

焦点革新是将CFG的牢固双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入生成差别化输入。

前缀嵌入生成：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注意力层中，差别路径的键（K）和值（V）缓存相互独立，确保各路径的盘算互不打搅，增强输出多样性。

2、盘算层：并行前向流传

并行执行：将P个差别化输入同时输入模型，利用GPU的并行盘算能力，一次性完成P路前向流传，生成P个输出流。效率优势：通过批量矩阵运算实现P路并行，盘算效率随P线性增长，共享模型主体参数，仅增加前缀嵌入等少量可训练参数。

3、输出层：动态加权聚合

通过多层感知机（MLP）动态盘算各路径输出的聚合权重，替代 CFG 的牢固权重机制：若某路径输出与目今输入语义匹配度高，MLP 会为其分派更高权重。

PARSCALE更高效

PARSCALE vs. 参数扩展

当P=8时，1.6B参数模型在HumanEval的性能（Pass@1=39.1%）接近4.4B参数模型（Pass@1=45.4%），但内存占用仅为后者的1/22，延迟增加量为1/6。

在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%（相对基准），显著高于参数扩展的增益。

两阶段训练战略

阶段1：用古板要领预训练模型至收敛（1Ttokens）。

阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。

P=8模型在GSM8K上提升34%，且与重新训练效果相当，证明少量数据即可激活并行路径的有效性。且该战略使训练本钱降低约 98%

适配现有模型

研究团队在Qwen-2.5-3B模型上进行连续预训练和参数高效微调（PEFT），仅调解前缀和聚合权重。

结果显示，在代码生成任务（HumanEval+）中PEFT 要领使Pass@1提升15%，且冻结主体参数时仍有效，证明动态调解 P 的可行性。

PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的盘算缩放范式。

感兴趣的朋友可到官方检察更多细节～

论文链接：https://arxiv.org/abs/2505.10475代码地点：https://github.com/QwenLM/ParScale参考链接：https://x.com/iScienceLuvr/status/1923262107845525660

— 完 —

??时事1：国产传媒18精品免费观看

??06月04日,直击第三届阿拉木图美食节,

　　(三)要坚持民主集中制原则。民主集中制是我们党的基础组织制度和领导制度。进一步建立健全并严格执行民主集中制的具体制度，发挥民主，广开言路，讲团结，顾阵势，配合营造民主、和谐的气氛，努力提高决策水平，增强班子整体效能。

,㊙️成人免费网站小说。

??06月04日,总装机规模150万千瓦风电项目在“中国风谷”开工,　　近日，农业农村部、水利部、应急治理部、中国气象局联合下发通知，要求各地立足增强组织领导，落实事情责任，分区分类指导，细化实化步伐，确保夏播作物种足种满，涤讪秋粮和全年粮食丰收基础。,sone-312,男生把🐔扎进男人屁股里,白鹿被狂揉下部❌羞羞小说。

??时事2：美女拉屎裸体㊙️视频

??06月04日,特朗普面临哪些官司？,

　　(一)村干部要践行群众路线，甘为孺子牛。人民群众是我们的力量源泉，密切联系群众是我党最大的政治优势。宽大村干部生长在下层，生活在下层，事情在下层，与群众接触最为密切，对他们的所思所想所盼最为清楚，要始终践行党的群众路线，甘为孺子牛。要坚持从群众中来，到群众中去，真正和群众打成一片，听民声、访民意、察民情、排民忧、解民难，不绝增进与人民群众的真情实感。要大力学习弘扬焦裕禄精神，特别是他 “ 心中装着全体人民、唯独没有他自己 ” 的公仆情怀，大兴效劳群众之风，想群众之所想，急群众之所急，帮群众之所需，认真解决民生问题，努力把为群众排忧解难的各项事情落到实处。要以 “ 积极贡献 ” 为座右铭，把人生价值与党和人民事业的生长紧密结合起来，多想群众少想自己，多想事业少想名利，坚持在其位、谋其政、尽其责，真正把全部心思和精力用在做事创业上，做到为官一任、造福一方。

,星穹铁道同人18❌羞羞漫画,女无套自慰✅免费网站他趣情,Hentai anime XXX tube。

??06月04日,中国黄金协会：前三季度全国黄金消费量同比降逾11%,

　　“哇哦，它可真能吃，拉它尾巴都不恼，就知道埋头啃。”

,揉⋯啊⋯嗯～出水了涂山雅雅,男同❌无尽❌高潮,巨乳❌拔萝卜❌自慰小说。

??时事3：美女扒开内裤无遮挡,视频大全

??06月04日,澳大利亚维州华人社团联合会青年会正式成立,

　　这次赢得侥幸，那头凶狈大意，被突然恢复些精力的青鳞鹰重创，不然的话，所有人都得死在这里。

,裸の女の子の裸オナニー,禁漫岛3D成人漫画,女性私密部位粉嫩嫩的照片。

??06月04日,2023年上海外港口岸汽车出口再创历史新高,　　从中方两篇新闻稿中，能够看出，中方谈中乌建交32年来的两国关系连续稳定生长，谈两国元首共识、人民久远利益，推进各领域交流相助，维护好两国关系。海叔更见其中行文有“弘扬相互尊重、真诚相待的优良古板”。,日本少妇高潮喷水,女生在床上放屁拉肚子拉裤子,爆乳jk老师脱内衣裸体动图。

??时事4：一键消衣免费软件入口

??06月04日,重庆梁平19吨挂面出口美国传统挂面飘香海外,

　　我系学生干步队伍的素质状况是优秀的。学生干部都是学生中的优秀分子，他们加入系里的建设和治理，义务的为集体、同学效劳，深得老师和同学的好评，这是值得肯定和继续发挥的。在总体肯定的同时，照旧要认真提防、不绝指出并即时纠正学生会干步队伍中可能保存的种种问题，诸如：有些干部过于注重提升自己组织治理能力，而疏于对自己的严格要求，学习不敷努力，事情缺乏热情等。

,斗罗大陆2绝世唐门在线观看全集免费播放,人与禽动ZoZ0性伦A,FC2PP初撮♥️完全颜出。

??06月04日,韩媒嘲讽国足：被对手羞辱！,

　　“嗡”的一声，一片光幕腾起，紫衣少女的晶莹耳垂间，那件耳坠发光，裹带着她极速冲了出去，避过这一击。

,91PORNY首页❤入口,免费❤成人黄漫APP2024,2048hjd聚友客栈论坛手机版。

【胡塞武装谴责美英空袭称将进行反击】

【40℃以上高温持续杭州多地公告实施人工增雨】

责编：范华良

审核：吕永志

责编：陈师

凯发天生赢家一触即发首页

阿里通义宣布并行盘算新战略：1.6B等效4.4B，内存消耗骤降95%

阿里通义宣布并行盘算新战略：1.6B等效4.4B，内存消耗骤降95%