早报|美女露出🐻让男生揉的视频_社会新闻

首页 >新闻 >社会新闻

微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失

2025-06-07 08:45:33

来源：

猫眼影戏

作者：

王纯幸

手机检察

　　猫眼影戏记者宋心蕊报道w3u7903ejky2ywls

新智元报道

编辑：KingHZ

【新智元导读】原生1bit大模型BitNet b1.58 2B4T再升级！微软宣布BitNet v2，性能险些0损失，而占用内存和盘算本钱显著降低。

还没过几天，原班人马带着第二代BitNet v2来了！

这次性能险些0损失，但占用内存和盘算本钱显著降低！

论文链接：https://arxiv.org/abs/2504.18415

先前的开创性研究，如BitNet b1.58，已经证明：

纵然将权重量化到1.58位，也能在极大降低推理本钱（延迟、内存占用、吞吐量、能耗）的同时，坚持与全精度模型相当的性能。

然而，激活值异常点让1比特大语言模型安排变得庞大。

BitNet v2框架，首次实现对1比特LLMs的原生4比特激活值量化。

针对注意力机制和前馈网络中激活值的异常漫衍问题，在激活值量化前，H-BitLinear�？槭┘釉谙逪adamard变换（Hadamard transformation）。

图1上半部分：BitNet v2整体架构以及H-BitLinear�？榈母爬�

这种变换能将尖锐的激活值漫衍转化为更接近高斯形态的平滑漫衍，从而适配低比特体现。

原生4比特盘算

得益于下一代GPU（如GB200）等硬件的进步，深度学习领域正迅速接纳量化和低比特推理技术。

新硬件原生支持4比特盘算，为大规模模型带来显著的效率提升。

盘算机中32、16、8比特浮点数差别的体现要领

然而，尽管BitNet b1.58将权重量化为1.58比特，缓解了内存带宽瓶颈，但它的激活值仍坚持8比特精度。

模型无法充分利用新硬件的4比特盘算能力。

实现更低比特宽度的激活值关于最大化硬件利用率至关重要，尤其是在批处理推理场景中，高效的内核设计尤为重要。

要害问题在于LLM内部激活值的不均匀漫衍。

虽然注意力机制和前馈网络（FFN）层的输入通常泛起类高斯漫衍，适合量化，但中间状态（最终投影前的输出）往往包括显著的离群值，阻碍了激进的低比特量化。

图1下半部分：注意力层中输出投影Wo和前馈网络中下投影Wdown的激活漫衍情况

对输入接纳4比特量化和对中间状态使用8比特稀疏化，可以解决这一问题。

尽管性能损失较小，但稀疏化并不适合批处理推理场景的最大吞吐量需求，因为硬件更倾向于密集盘算以提升效率。

为弥合这一差别并充分发挥1.58比特LLM在4比特盘算中的潜力，研究团队提出了BitNet v2框架，实现了模型全流程的原生4比特激活值，框架焦点立异是H-BitLinear。

BitNet v2：原生4位激活

BitNet v2模型基于类似LLaMA的组件构建，包括RMS归一化、SwishGLU激活函数，并完全移除了偏置项（bias）。

BitNet v2的整体架构

与先前的BitNet相比，BitNet v2在注意力�？榈氖涑鐾队癢o和前馈网络（FFN）的下投影Wdown中，引入了H-BitLinear�？�，以专门处理中间状态中泛起的异常通道（outlier channels）。

BitNet v2的训练流程分为两阶段：

首先，从零开始使用1.58位权重和8位激活（INT8）进行预训练；

随后，在坚持权重量化稳定的基础上,将所有线性层（除输入/输出embedding外）进一步微调为4位激活（INT4）。

H-BitLinear�？�

BitNet v2接纳逐张量平均绝对值量化（per-tensor absmean）战略对权重进行三值量化（也就是{-1, 0, 1}）：

关于低比特激活的问题，已有研究指出：

注意力层和前馈网络中前置线性变换的输入激活，通常泛起高斯漫衍，较适合量化；

而注意力输出（Wo）和FFN下投影（Wdown）的中间状态激活，则往往包括大宗离群通道（outlier channels），且大部分值集中于0四周，严重影响低位量化精度。

H-BitLinear可以取代注意力机制输出投影和FFN下投影的标准线性层。

H-BitLinear在激活量化前应用在线哈达玛变换），把中间状态中尖锐、易爆发离群值的漫衍重塑为更易处理的类高斯漫衍，显著减少1.58比特模型中离群值的影响。

Hadamard变换界说如下：

其中的矩阵乘法接纳快速Hadamard变换算法（Fast Hadamard Transform，FHT），其盘算庞漂后为O(nlogn)。

Hadamard矩阵是一类特殊的正交矩阵。

它的特点是每个元素只能是+1或-1，并且每行（或每列）之间的内积为0，体现相互正交。

阿达马矩阵的命名来自于法国数学家Jacques Solomon Hadamard。

法国数学家：Jacques Solomon Hadamard

如图2和图3所示，引入Hadamard变换后，中间状态的漫衍越发接近高斯形态。

这显著减少了离群值数量，使其更适合进行4位激活量化（INT4）。

图2：在使用8位激活时，BitNet b1.58与BitNet v2的激活漫衍比照。

图3：接纳8比特激活值时，BitNet b1.58与BitNet v2在前馈网络Wdown层和注意力机制Wo层的激活值漫衍比照。

关于8位激活（INT8）和4位激活（INT4）量化战略，划分接纳下列战略：

综上，H-BitLinear层的整体矩阵运算可体现为：

其中，LN(?)体现层归一化（LayerNorm）。

研究团队重新开始使用8比特激活值训练BitNet v2，与BitNet b1.58相比性能损失微乎其微。

随后，通过少量数据高效微调，模型即可适配原生4比特激活值。

实验结果

实验标明，4比特BitNet v2变体在性能上与BitNet a4.8相当，但在批处理推理场景中提供更高的盘算效率。

别的，与后训练量化要领SpinQuant和QuaRot，则险些全面领先。

比BitNet b1.58更快

BitNet V2与BitNet b1.58比，性能险些0损失。

BitNet v2及其基线模型的详细实验结果，如表1所示。

在注意力机制和前馈网络（FFN）层的量化前引入哈达玛变换后，模型的困惑度（perplexity）下降极小。

关于8比特激活值，BitNet v2相较于BitNet b1.58体现出更高的性能，在1.3B、3B和7B模型规模上，终端任务的平均准确率划分提升了0.16%、0.49%和0.61%。

别的，BitNet v2支持所有线性层的原生4比特激活值，从而显著提升了批处理推理的效率。

在使用INT4（4比特整数）激活值时，BitNet v2的困惑度与BitNet a4.8相当，同时在3B和7B模型的下游任务中展现出更优的性能。

表1：BitNet v2、BitNet a4.8与BitNet b1.58在终端任务上的困惑度及性能体现

表2和表3划分总结了BitNet v2（8比特激活，a8）和BitNet v2（4比特激活，a4）在低比特注意力机制下的详细结果。

研究人员对QKV状态接纳了RoPE（旋转位置编码）后的量化要领。

QKV头通过absmax函数直接量化为无符号整数，无需任何校准数据集。

如表2和表3所示，接纳3比特KV缓存的BitNet v2在3B和7B模型上的准确率与使用全精度KV缓存的模型相当。

表2：BitNet v2在终端任务上的零样本准确率，其中激活使用8位，而QKV状态的位宽则有所差别。

表3：BitNet v2在终端任务上的零样本准确率，其中激活使用4位，而QKV状态的位宽则有所差别。

与其他后训练量化要领的比照

BitNet v2 (a4)与主流的后训练量化基线要领进行了比照，包括SpinQuant和QuaRot，在1.3B参数规模的模型上进行了评测。

QuaRot通过引入随机Hadamard变换以缓解特征离群问题，SpinQuant则使用了可学习的旋转矩阵（rotary matrix）。

随后，这两种要领划分接纳GPTQ和absmax战略，将权重和激活量化到4位。

由于BitNet b1.58沿用训练时使用的absmean函数进行权重量化，而非使用GPTQ。

在各项指标上，BitNet v2稳拿第一，具体结果见表4。

表4：BitNet v2、QuaRot和SpinQuant在各项下游任务上的困惑度（Perplexity）与零样本准确率（Zero-shot Accuracy）比照

另外，在Hadamard变换对差别模型尺寸（1.3B和3B）影响的实验（见表5）中，研究者发明：

没有旋转处理（No rotation）时，模型直接发散，无法正常训练；

引入Hadamard旋转（无论是权重+激活，照旧仅激活），都能显著稳定低位训练，并提高最终准确率。

表5：差别规模下H-BitLinear的Hadamard变换的消融研究。

模型训练、消融实验等其他内容和细节，请参阅原文。

参考资料：

https://arxiv.org/abs/2504.18415

??时事1：迈开迈尝尝森林的味道

??06月07日,新疆，“马”上作为,

　　铁箭没入远处一块山石中，直接穿进，铿锵作响，摩擦出一串火星，甚是恐怖。这么强大的力道，这样的重箭，有几人敢撄锋？真要被射中，那就是一个透心凉！

,云缨脱了内裤求被c的小说。

??06月07日,外交部：中非合作论坛峰会是中国近年来举办的规模最大、外国领导人出席最多的主场外交,

　　一是加速工业生长。工业化是城镇化的基础动力，要立足资源优势和区位优势，大力调解优化结构，突出生长棉纺织工业，加速生长食品工业，积极生长化学工业，着力培育轻工、机电工业，不绝培育壮大县域工业支柱工业。要尽快修订完善增进工业生长的政策步伐，推动工业企业技术革新;实施扶扶优扶强，计划建设一批优势工业项目，增强城镇生长后劲。要进一步增强县纺织工业园区和乡镇工业小区建设，推动工业向园区集中，项目向园区支配，将园区建成新型工业的密集带和都会生长的新亮点，实现工业化和城镇化的良性互动。

,无码人妻丰满熟妇啪啪网站牛牛,国产精品A片在线观看原神,我的🍌伸进女同学🍑。

??时事2：农村护士一级A片

??06月07日,2023年中国警方缴获毒品25.9吨,

开学学校领导讲话篇14

,成人网站❌免费入口免费,老头和老头同性AAA片,fuqer100%202。

??06月07日,最大航程6500公里新疆首次大型无人机增水作业开展黎以边境冲突持续升级中使馆提醒中国公民谨慎前往黎巴嫩,

　　企业要生长，离不开人才。现代企业的竞争，就是人才的竞争，人才是公司实现快速生长的重要推动力，也是公司最名贵的财产。有一位企业家列出了企业人才致胜的四大机制，即赛马机制、梯队机制、舞台机制和分享机制。

,把🍌放进女人的🍑,幼女做性视频网站,刘亦菲裸体一丝不留裸。

??时事3：黑人大鷄巴一級

??06月07日,青少年珠算文化非遗大会尽展“指尖上的智慧”,

　　六办：为了送好这届结业生，全组老师不辞辛劳，勇于继续，积极贡献，为近多名学生的小学生活画上了较为圆满的句号。

,欧美一级特黄大片绯色AV,爽⋯好大⋯快⋯深点自慰大学,女人下面被添全过程A片。

??06月07日,海南“小海狮”乌苏里江畔“巡护”边疆,

　　每一次月考和期中、期末考试之后，学校都组织召开了教师集会，有针对性的对前一阶段保存的问题进行剖析，并提出相应的对策。

,珍奇被狂❌爆乳,斯嘉丽·约翰逊露胸裸体,美女被❌狂揉大胸视频。

??时事4：扒开🐻让我❌❌❌游戏

??06月07日,财政部：2023年全国新增的减税降费约1.57万亿元,

　　一个月后，石子陵回来，并没有寻到十三爷，且进入府中立刻就感受到了差池劲，气氛怪异。

,用丝袜怎么导精,高跟鞋扫楼打胶鞋网站,男性裸体㊙️无遮挡蛋蛋。

??06月07日,四川成都：市域（郊）铁路成德线全线首台盾构机始发,

　　低沉的兽吼似乎接近了，远处传来沙沙声，夕阳都快消失了，天色昏暗，这山林中显得格外幽森与恐怖。

,4399成人黄A片,霍雨浩狠狠地挺进冰帝小泬,女人被扒开腿狂躁3p免费。

【上海进入生活垃圾智慧管理新阶段：全链条、全覆盖、全追溯、全监管】

【江南名楼滕王阁北园即将开放章江晓渡再现赣江之滨】

责编：马尔迪

审核：大卫·凯

责编：朱宏

凯发天生赢家一触即发首页

微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失

开学学校领导讲话 篇14

微软再放LLM量化大招！原生4bit量化，本钱暴减，性能险些0损失

开学学校领导讲话篇14