本文全面介绍了大模型微调的两大方向参数高效微调PEFT和基于偏好对齐的微调RLHF。PEFT通过冻结大部分预训练参数仅训练少量额外参数实现高效适配下游任务涵盖LoRA、QLoRA、适配器调整、前缀调整、提示调整等多种方法适用于资源受限场景。RLHF则通过人类反馈优化模型输出使其更符合偏好包括SFT、RLHF、DPO、KTO、ORPO等技术。文章还探讨了混合专家MoE、量化技术等辅助方法并介绍了Online DPO、PiSSA/LoRA-GA、FLoRA/ReLoRA等最新前沿方向为不同应用场景提供了选择建议。一、参数高效微调PEFT方法常用微调方法对比微调方法核心思想主要特点 / 优势适用场景 / 备注LoRA在原始权重矩阵旁引入两个低秩矩阵A和B通过训练这两个小矩阵来近似权重的更新量。参数效率高不增加推理延迟可将低秩矩阵合并回原权重显著降低训练参数量和显存占用。适用于大多数场景尤其是资源有限时与QLoRA结合可进一步压缩显存。QLoRA在LoRA的基础上将预训练模型量化为4-bit精度如NF4格式再进行低秩适配器训练。极大降低显存占用例如33B模型可在24GB显卡上训练同时保持接近全量微调的性能。资源极度受限的场景需要在单卡上微调数十亿甚至百亿参数级模型。适配器调整在Transformer的每个层或选定层之间插入小型神经网络模块适配器微调时只更新适配器参数。保持原模型参数不变通过插入可训练模块实现任务适配模块化程度高易于切换任务。多任务学习场景或需要为不同任务保留独立、轻量模块时。前缀调整在输入序列前添加一组连续可微的“虚拟”前缀向量训练时仅优化这些前缀参数。不修改模型内部权重为不同任务保存独立前缀即可存储成本低前缀作为上下文直接影响模型行为。生成类任务或需要为每个任务保存极轻量参数一个前缀的场景。提示调整在输入层添加少量可训练的连续提示向量软提示训练时只更新这些提示嵌入。参数极简通常只添加几个或几十个可训练向量在冻结原模型的情况下通过提示引导模型输出。分类、简单文本理解等任务追求极致的参数效率。P-Tuning基于提示的微调使用一个LSTM模型作为提示编码器动态生成输入层的虚拟标记嵌入。通过LSTM捕捉上下文依赖生成的提示更灵活、适应性强能处理更复杂的任务。需要细粒度控制或上下文理解较复杂的任务如序列标注但计算量相对更高。P-Tuning v2在P-Tuning基础上将连续提示扩展到模型的多层每一层都添加独立的可训练提示。增加了可训练参数量提升了在复杂NLU任务和较小模型上的表现解决了深层模型中提示影响不稳定的问题。复杂的自然语言理解任务或使用中小规模基座模型时。BitFit只微调模型中的偏置项bias terms和归一化层的参数冻结所有权重矩阵。参数效率极高更新的参数通常不到模型总量的0.1%实现极其简单。选择式方法Diff Pruning通过一个可训练的掩码mask来动态决定在训练过程中应该更新哪些权重。更灵活但引入了额外的计算开销。选择式方法DoRA将LoRA进一步分解为方向和大小两个分量分别进行低秩适应可以看作是LoRA的改进变体。在LoRA基础上提升了微调效果和稳定性参数效率与LoRA相当。重参数化方法MoRA提出“高秩更新”的概念通过引入更复杂的结构来实现比LoRA更高秩的权重更新。在需要更大灵活性的复杂任务上可能取得比LoRA更好的效果。重参数化方法 各微调方法优缺点补充表微调方法缺点Transformers 支持情况LoRA1.谱学习能力受限更新矩阵的奇异值远低于原始权重难以彻底遗忘预训练中的不良模式如后门攻击。 2.低秩瓶颈秩r限制了它能学习的“知识量”在复杂任务上可能效果不如全参数微调。 3.性能与秩的权衡需要手动调优r值在效果和效率间做取舍。✅完美支持。通过peft库中的LoraConfig实现是 Hugging Face 生态中最成熟、应用最广的 PEFT 方法。QLoRA1.实现复杂涉及 4-bit 量化NF4、双量化和分页优化器配置比 LoRA 复杂。 2.精度损失风险虽然量化设计精巧但相比全精度训练仍可能带来微小的性能损失。 3.推理需额外处理基座模型是量化的部署时需确保环境支持或合并为完整精度。✅完美支持。peft库配合bitsandbytes库可直接调用是 Hugging Face 官方推荐的超大模型微调方案。适配器调整1.推理延迟增加引入额外模块会略微增加前向传播的计算量和推理延迟。 2.生成任务效果稍逊在摘要、对话等生成任务上效果提升往往不如 LoRA 明显。 3.架构侵入性需修改模型结构插入 Adapter 层。✅良好支持。peft库原生支持AdapterConfigHugging Face 的 Transformers 模型兼容此方法。前缀调整1.占用输入长度可训练前缀会占用模型的上下文长度减少处理有效输入的空间。 2.训练稳定性较低优化连续的虚拟 token 比微调模型参数更难训练过程可能不够稳定。 3.性能表现波动在部分任务上性能不及 LoRA。✅良好支持。peft库中的PrefixTuningConfig提供了标准实现。提示调整1.任务容量有限仅通过输入层少量向量引导模型对于复杂任务的表达能力有限。 2.效果不稳定对初始化超参数敏感不同随机种子下效果差异可能较大。 3.受模型规模影响在较小模型10B上效果通常不如微调主要适用于超大模型。✅完美支持。peft库中的PromptTuningConfig提供标准实现是入门最简单的 PEFT 方法之一。P-Tuning1.表征能力受限其提示编码器LSTM的设计导致处理复杂数据分布时不同类别的样本表征可能难以有效分离。 2.计算开销增加引入了 LSTM 提示编码器增加了少量额外参数和计算量。 3.对数据质量敏感在数据增强或改动较大时性能可能显著下降。✅良好支持。peft库通过PromptEncoderConfig支持此方法在文本分类等 NLU 任务上应用广泛。P-Tuning v21.参数量相对增加相比 P-Tuning在多层添加提示显著增加了可训练参数量。 2.对模型架构依赖在不同 Transformer 层插入连续提示的效果差异较大需针对性调试。 3.小模型上优势不明显在较小规模模型上性能提升可能不如直接使用 LoRA。✅良好支持。peft库的PrefixTuningConfig实际上常被用于实现 P-Tuning v2 的多层提示插入。BitFit1.效果上限较低仅训练偏置项对模型行为的调整能力非常有限在复杂任务上效果远不如 LoRA。 2.适用任务局限主要用于相对简单的任务或作为快速基线不适合需要大幅调整模型的场景。✅原生支持。虽无专用配置类但通过设置requires_grad False冻结所有权重只解冻bias参数即可轻松实现。Diff Pruning1.计算开销较大训练时需同时存储原始权重和可学习的掩码mask显存占用比 LoRA 高。 2.实现复杂相比 LoRA代码实现更复杂社区应用较少。 3.未成为主流后续研究较少生态支持远不及 LoRA。⚠️非原生支持。需手动实现掩码机制或寻找第三方实现Hugging Face 官方peft库未集成此方法。DoRA1.参数量微增相比 LoRA 增加了一个表示“幅度”的向量可训练参数略多于 LoRA。 2.社区应用较新是较新的改进方法生态工具和文档不如 LoRA 丰富。 3.收益与任务相关在简单任务上性能提升不明显复杂任务收益更大。✅已有支持。peft库较新版本已开始集成DoRA的实现可直接通过LoraConfig的参数开启。MoRA1.实现更复杂通过引入更复杂的结构如频域变换来实现高秩更新代码实现和调优门槛较高。 2.社区应用极少作为前沿探索尚未形成广泛的应用生态。⚠️暂无官方支持。peft库未集成此方法需从官方论文仓库获取代码并手动适配。 关键结论关于 Transformers 生态表格中的绝大多数方法LoRA、QLoRA、Adapter、Prefix Tuning、Prompt Tuning、P-Tuning、P-Tuning v2、BitFit、DoRA都可以通过Hugging Face 的peft库在 transformers 框架下轻松完成训练。当前首选如果你的资源有限且追求稳定效果LoRA及其变体QLoRA、DoRA是目前社区最主流、生态支持最好的选择。策略资源极度受限如单卡跑百亿模型选 QLoRA。追求最佳效果且任务复杂选 LoRA或 DoRA适当增加r值。需要快速为多个任务切换能力选 Adapter 或 Prefix Tuning。仅做极简单的基线测试选 BitFit。总结这11种方法都属于参数高效微调PEFT核心理念是冻结预训练模型的大部分参数仅训练少量额外参数从而在有限的计算资源下高效适配下游任务。从资源占用看QLoRA、提示调整、前缀调整的显存需求最低LoRA和适配器调整次之P-Tuning v2因添加多层提示参数量略多。从任务适配能力看P-Tuning v2、P-Tuning、LoRA通常能取得与全量微调更接近的效果尤其在复杂任务上。从推理效率看LoRA合并权重后和适配器调整需前向适配器层各有特点而前缀/提示调整会增加输入长度略微影响推理速度。选择时可根据你的基座模型大小、可用显存、任务复杂度以及是否需要多任务切换来决定。二、基于偏好对齐的微调方法RLHF系列这类方法与前面的PEFT思路完全不同它不是为了“参数高效”而是为了让模型的输出更符合人类的偏好和价值观。ChatGPT、Claude等对话模型都重度使用了这套方法。微调方法核心思想工作流程 / 特点SFT使用大量“人类提问-理想回答”的示范数据让模型通过监督学习模仿这些回答。是RLHF流程的第一步建立模型的指令遵循基础。但模型只学会“怎么做”没学会“什么更好”。RLHF通过强化学习来优化模型使其行为与人类偏好对齐。三阶段流程1. SFT建立基础2. 训练奖励模型Reward Model来模拟人类偏好打分3. 用PPO等强化学习算法根据奖励优化模型。DPO直接偏好优化绕过RLHF中复杂的强化学习环节。直接用“好回答-差回答”的对比数据来优化模型让模型学会偏好判断。实现更简单训练更稳定。KTO基于诺贝尔奖得主的前景理论 Prospect Theory引入损失厌恶心理。只需要简单的“好/坏”二元标注而非成对比较数据标注更容易更符合人类心理。ORPO将SFT和偏好学习合并为单阶段完成。通过优化偏好回答与非偏好回答的概率比值一步到位训练效率更高。三、其他方向的微调技术类别代表性技术 / 思路核心思想混合专家MoE将模型内部划分为多个“专家”模块训练时根据输入只激活部分专家。在保持总参数量大的同时控制实际计算量实现高效训练和推理。量化技术QLoRA已介绍、AWQ、GPTQ等。将模型权重从高精度如FP16压缩到低精度如INT4、INT8大幅降低显存占用是超大模型微调的基础。提示学习扩展上一轮已介绍的Prompt Tuning、Prefix Tuning等。在不改动模型参数的情况下通过优化输入端的连续提示向量来引导模型输出。四、最新前沿方向Online DPO将DPO从离线静态数据升级为在线持续学习在模型实际使用过程中实时收集用户反馈并纳入训练让模型能够动态适应用户偏好的变化。MobiFe面向移动端设备的极轻量微调进一步压缩适配器大小。PiSSA / LoRA-GA对LoRA的初始化策略进行改进让低秩矩阵从一开始就承载更有意义的信息加速收敛并提升效果。FLoRA / ReLoRA将LoRA与联邦学习或持续学习场景结合解决分布式训练中的参数高效微调问题。这几个前沿的微调方法它们的核心思路都是对现有技术主要是LoRA和DPO进行有针对性的改进以解决特定场景下的痛点。DPO 是Direct Preference Optimization直接偏好优化的缩写。它是一种无需强化学习的对齐方法。与传统的 RLHF基于人类反馈的强化学习不同DPO 不需要先训练一个奖励模型再用 PPO 等强化学习算法去优化语言模型。相反它通过一个闭式损失函数直接在“好回答”和“差回答”的偏好数据上进行优化让模型学习到更符合人类偏好的输出。简单来说RLHF 的流程是“训练奖励模型 → 用强化学习优化语言模型”而 DPO 把这两步合并成了一步直接用偏好对比数据来调整语言模型训练更稳定实现也更简单。 Online DPO让模型在“竞争”中持续进化Online DPO旨在解决标准DPO的一个关键局限它只能使用静态的离线数据进行一次性训练无法处理持续不断的新偏好数据且容易在学习新任务时“灾难性遗忘”旧任务。你可以把它想象成让一个学生在做了一堆“好/坏”答案的对比练习题后就去考试而Online DPO则是让这个学生在一个有实时反馈、需要不断适应新题型的环境中持续学习。它的核心原理用一个词概括就是“快慢追逐”。模拟“种内竞争”借鉴生物学中物种通过竞争进化的思想Online DPO为同一个模型设置了两个结构完全相同、但优化速度不同的LoRA模块。快慢模块分工模拟“种内竞争”借鉴生物学中物种通过竞争进化的思想Online DPO为同一个模型设置了两个结构完全相同、但优化速度不同的LoRA模块。快慢模块分工“快模块” (Fast Module)负责快速适应新到来的数据流像敏捷的猎手迅速捕捉最新的偏好变化。“慢模块” (Slow Module)负责稳定地保留从历史数据中学到的通用知识和旧任务能力像稳重的大本营防止“快模块”跑偏而遗忘根本。“追逐”与正则化通过一个特殊的正则化项让“快模块”在追求更好性能时不能偏离“慢模块”太远。这种“快慢追逐”的动态平衡既保证了快速适应新领域的能力又有效缓解了灾难性遗忘。在此基础上跨领域在线快慢追逐DPO (COFS-DPO)是其扩展版本。它通过线性组合不同任务领域训练出的最优“快模块”参数实现对多个领域知识的持续学习和融合。 现实案例Flow-DPO微软研究院和加州大学提出的Flow-DPO是Online DPO思想的一个精彩实践。它用两个大模型Answer LLM和Stop LLM协同工作一个负责“生成答案片段”另一个负责“判断是否完成”。通过在线地对比不同推理路径的好坏DPO两个模型在合作与竞争中持续进化最终生成的数学问题推理过程更详细、准确率更高。 PiSSA / LoRA-GA给LoRA一个“更好的起点”这两种方法都专注于改进LoRA的初始化方式让微调从一开始就走在更正确的道路上。PiSSA (主奇异值和奇异向量适应)它的核心原理是“抓住主要矛盾”。LoRA-GA (LoRA with Gradient Approximation)虽然搜索结果中没有详细介绍LoRA-GA但它的核心原理是让初始化时的更新方向与全参数微调对齐。它通过数学方法让初始化后的LoRA模块在训练第一步产生的梯度更新方向尽可能去逼近全参数微调时的理想更新方向从而加速收敛并提升效果。 FLoRA / ReLoRA让LoRA适应更复杂的场景这两者是将LoRA与更前沿的机器学习范式结合以解决分布式或长期学习中的难题。FLoRA (联邦低秩适应)它的核心原理是“数据不动模型动”。场景在金融、医疗等数据敏感领域多个机构如不同医院的数据无法集中训练。技术FLoRA让每个机构在本地用自己的数据微调一个相同的LoRA模块然后只把这些轻量级的LoRA模块而非完整大模型上传到一个中央服务器进行聚合如取平均再将聚合后的LoRA模块分发回各机构。如此循环得到一个融合各方知识但从未接触原始数据的强大模型。ReLoRA (循环低秩适应)它的核心原理是“积小胜为大胜”。问题LoRA的低秩假设r通常≤128限制了它能学习的“知识量”在复杂任务上可能效果不如全参数微调。技术ReLoRA采用周期性训练的策略。它先训练一个LoRA模块直到收敛将其合并回主模型然后重置LoRA状态开始新一轮LoRA训练。通过多次这样的“训练-合并-重置”循环逐步累积模型能力实现等效于更高秩的更新从而提升模型上限。总结与对比方法核心痛点核心原理一句话总结Online DPO静态数据学习无法适应动态偏好灾难性遗忘引入快、慢两个LoRA模块“追逐”式学习平衡新知识学习与旧知识保留让模型在“内卷”中持续进化紧跟用户偏好PiSSA / LoRA-GALoRA初始化随机收敛慢效果有上限用SVD的主成分PiSSA或梯度近似LoRA-GA进行“更聪明”的初始化给LoRA一个更好的起点让它跑得更快、更远FLoRA数据无法集中需要跨机构协同训练将LoRA作为可交换的“知识载体”在本地训练在中央聚合让LoRA成为数据隐私保护下的“知识信使”ReLoRALoRA的低秩假设限制了学习容量通过“训练-合并-重置”的周期性累积实现超越低秩限制的更新用多次小步快跑累积出超越极限的能力这四个方向代表了当前大模型微调技术发展的几个重要趋势从静态走向动态Online DPO、从随机初始化走向科学初始化PiSSA、从单机走向分布式FLoRA、从单次更新走向循环累积ReLoRA。选择哪种方法主要取决于你的应用场景是更关注数据时效性、训练效率、数据隐私还是模型性能上限。总结与选择建议追求极致参数效率、资源极度受限选BitFit只改0.1%的参数或QLoRA在单卡上跑百亿模型。追求与全量微调相当的性能选LoRA、DoRA或P-Tuning v2。目标是训练一个对齐的对话模型需要走SFT → Reward Model → RLHF/DPO的完整流程。需要模型持续适应用户偏好变化关注Online DPO等在线学习方法。处理超大规模模型推理结合GPTQ/AWQ量化与MoE架构。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取