论文阅读：ICLR 2026 Alignment-Weighted DPO: A Principled Reasoning Approach to Improve Safety Alignment

总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894Alignment-Weighted DPO: A Principled Reasoning Approach to Improve Safety Alignmenthttps://openreview.net/forum?idOuMNJoKJBQICLR 2026 | LLM对齐加权DPO安全推理 论文背景与基本信息《ALIGNMENT-WEIGHTED DPO: A PRINCIPLED REASONING APPROACH TO IMPROVE SAFETY ALIGNMENT》由University of Virginia与Capital One的Mengxuan Hu等作者完成。该论文聚焦当前大模型安全对齐的核心痛点虽然SFT、RLHF、DPO等方法已提升模型安全性但面对“越狱攻击”通过隐晦表达掩盖恶意意图模型仍容易失守。本质原因在于现有对齐更像“条件反射”缺乏真正的推理能力。 例子可以把传统对齐方法理解为一个“背规则的安检员”。当看到明显危险物品时会拦下但如果有人把危险物藏在普通行李中它就可能放行。该论文的方法则像一个“会推理的安检专家”不仅看表面还会一步步分析物品用途与上下文从而做出更有依据的拒绝。️ 方法核心该论文提出两步改进路径首先构建包含推理过程Chain-of-Thought的安全对齐数据集让模型学会“为什么要拒绝”而不是只学“拒绝什么”。其次提出Alignment-Weighted DPO对模型输出的“推理部分”和“最终回答”赋予不同权重重点优化容易出错的关键环节实现更精细的对齐更新。 实验发现引入推理链训练后模型在面对复杂越狱提示时拒绝更加稳定且有理有据而非简单模板化回应。Alignment-Weighted DPO相比传统DPO在多种安全基准上显著提升鲁棒性尤其是在隐蔽攻击场景中表现更优。在提升安全性的同时该方法基本不损失模型原有的任务能力实现了安全与实用性的平衡。 总结该论文的关键启示在于真正可靠的模型安全不是“记住规则”而是“学会推理规则”为下一代对齐方法提供了重要方向。