大模子微调的致省参案，要先回答个基本的问题：模子里的偏置项榆林设备保温 ，究竟哪个值得熟识？

来自瑞典隆德大学与 Google DeepMind的探究团队，系统比较了提防力模块中 Query、Key、Value 三类偏置 b ( q ) 、b ( k ) 、b ( v ) 。团队给出的中枢论断非常径直：在低数据场景下，径直微调 Value 投影中的 b ( v ) ，鄙俚比微调 b ( q ) 或 b ( k ) 取得好的卑劣能。

该使命已被 ACL 2026 主会收受（已集成进 Hugging Face-PEFT 库），由 Baichuan Huang、Ananth Balashankar 和 Amir Aminifar 共同完成。其中 Baichuan Huang、Amir Aminifar 来自隆德大学，Ananth Balashankar 来自 Google DeepMind。

只调 Bias，还能再省层吗？

全参数微调果强，但熟识资本、存占用和能耗齐很；LoRA、Adapter、Prefix Tuning 等参数微调法天然大幅裁汰了支出，往往仍需新增模块、确立秩或长度，并进行稀奇重参数化。比较之下，Bias-only 微调径直新模子中已有的偏置项，简直不改集会中构，具备"开箱即用"的势。

此前的 BitFit 等使命一经发现：尤其在样本有限时，微调一起偏置项不错接近全参数微调。但"一起 Bias "仍然把不同位置视同仁。Transformer 提防力中，b ( q ) 、b ( k ) 、b ( v ) 究竟谁关节？若是只保留有的类，是否还能跳动减少参数？这恰是 BEFT 要处治的问题。

△在 SST-2 低数据实验中，微调 b ( v ) （绿）比较 b ( q ) （红）和 b ( k ) （蓝）取得准确率，并以少可熟识参数接近或过多种 PEFT 案。时候案｜为什么是 Value Bias？

提防力模块不错写为 Q=XW（q）+ [ b ( q ) ] 、K=XW（k）+ [ b ( k ) ] 、V=XW（v）+ [ b ( v ) ] ，再通过缩放点积提防力谋略输出。BEFT 的关节并非教学上"赶巧选中了 b ( v ) "，而是从 softmax 结构讲授了三者为何不等价。

b ( k ) ：在 softmax 前被"对消"

将同个 b ( k ) 加到每个 Key 向量后榆林设备保温 ，关于轻易 Query，扫数提防力 logit 齐会同期增多交流常数。由于 softmax 具有平移不变，提防力权重不会调动。直不雅地说，这就像给扫数候选项同期加一样的分数，排序天然不变，因此 b ( k ) 简直不可普及提防力映射的抒发才气。

b ( q ) ：能影响提防力，但容易被 softmax 压缩

b ( q ) 如实能调动 softmax 之前的分，但影响必须过程 softmax 传递。论文在编码器息争码器模子中不雅察到，提防力权重精深呈现锐且度疏淡的分散，此时 softmax 的雅可比矩阵中大大齐元素接近 0，b ( q ) 带来的变化容易被压缩，抒发才气普及有限。

b ( v ) ：径直写入提防力输出

由于每行提防力权重之和为 1，有 A（V+ [ b ( v ) ] ）=AV+ [ b ( v ) ] 。也即是说，b ( v ) 不需要绕过层"容易填塞"的 softmax，而是等价于径直在缩放点积提防力的输出后增多个齐全维度的线解放度。

△b ( k ) 对提防力映射基本，b ( q ) 普及有限，b ( v ) 则等价于在 SDPA 输出后径直增多可熟识解放度；右侧分散展示提防力权重的锐与疏淡。从"变化大"到"变化有"

仅看参数变化的对幅度并不可靠。论文发现，传统 Magnitude 法频频把变化大的 b ( q ) 排在前边，但真是微调时，b ( v ) 的卑劣发挥反而好；Fisher 信息法又容易给出跨数据范畴不变的静态排序，难以反应 b ( v ) 与 b ( q ) 能差距随样本量变化而平缓的趋势。

BEFT 因此把微调前后偏置向量的模长变化与夹角变化伙同起来，并在 Transformer 各层上团员，铁皮保温施工得到逼近真是卑劣能的偏置伏击排序。需要讲明的是，论文在探究阶段通过全偏置微调分析三类偏置的变化；旦得到"径直微调 b ( v ) "的论断，执行使用时需针对每个新任务再进行过后搜索。

0.01 参数，果并不折

在 BERT（BASE）的 GLUE 实验中，b ( v ) 在低、中、三种数据范畴下齐相识先。论文汇总主义示，低数据时 b ( v ) 平均得分为 64.5榆林设备保温 ，b ( q ) 和 b ( k ) 差异为 57.8、53.5；中等数据时为 70.8，对比 63.3、50.4；数据时为 71.7，对比 64.7、50.4。

参数坦爽不雅。在 RTE 低数据实验中，BEFT 只熟识全模子 0.01 的参数，准确率达到 58.53 ± 1.88；一起 Bias 微调需要 0.09 的参数，准确率为 56.40 ± 2.88；全参数微调使用 的参数，准确率为 57.46 ± 2.20。对应试验时辰差异为 132.9 秒、144.9 秒和 206.1 秒。需要强调的是，这是论文给出的个具体实验案例，但它明晰展示了"选对位置"比"多熟识参数"伏击。

关节着力览：

△注：不同任务汲取论文对应评价主义；RTE 着力为 3 次不同赶快种子实验的均值 ± 规范差。

这规矩并不局限于 BERT。论文跳动遮掩 RoBERTa（BASE）、BERT（LARGE）、OPT-1.3B 和 OPT-6.7B，并蔓延到分类、多项聘用和生成任务。关于底本不含提防力 Bias 的 LLaMA2-7B、GPT-J-6B 和 DeepSeek-Coder-Base-1.3B，探究者手动加入 b ( v ) 后再熟识，着力依然于加入并熟识 b ( q ) 或 b ( k ) 。

在自追想模子实验中，BEFT 使用的可熟识参数比 LoRA 少约 30 倍、比 Prefix Tuning 少约 10 倍，同期在多项任务上保捏有竞争力或好的能。BEFT 也不错与 LoRA、VeRA、DoRA 等法组合；论径直熟识照旧相通这些 PEFT 法，b ( v ) 举座仍于 b ( q ) 和 b ( k ) 。

少参数，亦然条瞎想划定

BEFT 的价值不单在于把可熟识参数压到低。伏击的是，它给出了条露出、可讲授、可搬动的瞎想原则：在规范 softmax 提防力中，可熟识解放度放在那儿，比单纯增多解放度关节。

关于样本有限、算力受限的卑劣适配任务，径直微调 Value Bias 简直不需要稀奇结构和复杂确立；关于已有 LoRA、VeRA、DoRA 案，b ( v ) 又不错行动跳动削减参数的组所有这个词谋；关于 Bias 模子，添加并熟识 b ( v ) 也提供了条轻量修订旅途。

天然，论文也明确了鸿沟：当今主要探究规范 softmax 提防力及 Query、Key、Value 投影，尚未遮掩线提防力；不同偏置对特征相通与 Scaling Law 的影响，也留待后续探究。

从"微调扫数 Bias "到"只微调灵验的 Bias "，BEFT 把大模子低数据适配再上前进了步。它指示了从业者们：参数微调的下步，巧合是瞎想复杂的模块，也可能是准确地合股模子中那些早已存在、却永恒被忽略的小参数。

论文标题：《BEFT: Bias-Efficient Fine-Tuning of Language Models in Low-Data Regimes》

论文纠合：https://aclanthology.org/2026.acl-long.1799/

Hugging Face: https://huggingface.co/docs/peft/v0.20.0/en/package_reference/beft

键三连「点赞」「转发」「堤防心」

迎接在褒贬区留住你的思法！

—  完  —

【学术投稿】请在使命日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉咱们：你是谁，从哪来，投稿内容附上神志 / 主页纠合，以及联系式。

� �   咱们会 ( 尽量 ) 实时回话你 : )

� � 点亮星标 � �

科技前沿进展逐日见地址：大城县广安工业区相关词条:储罐保温     异型材设备     钢绞线厂家    玻璃丝棉厂家    万能胶厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。