前言2025年6月30日百度文心大模型团队正式发布ERNIE 4.5全系列开源计划一次性开放10款覆盖从0.3B端侧到424B云端的完整模型矩阵包含预训练基座、指令微调、深度思考、多模态四大类能力同步开源配套的训练、推理、部署全栈工具链。这是中国AI产业迄今为止规模最大、梯度最完整、技术最先进的大模型开源行动标志着国产大模型正式进入全栈开放、生态共建的新阶段。本次开源的ERNIE 4.5系列首创多模态异构混合专家架构在中文理解、逻辑推理、多模态融合等核心能力上达到全球领先水平。其中旗舰模型ERNIE-4.5-300B-A47B在28项主流基准测试中22项超越DeepSeek-V3-671B成为目前性能最强的开源大模型之一。所有模型均采用Apache 2.0开源协议个人与商业无限制免费使用支持二次开发和私有化部署。官方资源汇总GitHub 主仓库https://github.com/PaddlePaddle/ERNIEHugging Face 模型库https://huggingface.co/baidu飞桨星河社区https://aistudio.baidu.com/ernie45技术白皮书https://yiyan.baidu.com/static/ernie4.5_whitepaper.pdf在线体验https://yiyan.baidu.com一、开源全景10款模型完整矩阵ERNIE 4.5系列构建了端-边-云全覆盖的模型梯度提供PyTorch和PaddlePaddle双框架原生支持总计23个模型文件适配从嵌入式设备到超算集群的所有部署场景。1.1 大语言模型系列7款模型名称总参数量激活参数量上下文窗口核心定位适用场景ERNIE-4.5-300B-A47B-Base4240亿470亿128K通用旗舰基座通用AI应用、复杂推理、知识密集型任务ERNIE-4.5-300B-A47B-Instruct4240亿470亿128K指令微调旗舰智能对话、内容生成、代码开发、企业级服务ERNIE-4.5-21B-A3B-Base210亿30亿128K轻量MoE基座中等规模部署、行业模型微调ERNIE-4.5-21B-A3B-Instruct210亿30亿128K轻量指令微调客服机器人、内容创作、数据分析ERNIE-4.5-21B-A3B-Thinking210亿30亿128K深度思考版数学求解、学术分析、复杂问题解决ERNIE-4.5-0.3B-Base3亿3亿32K端侧稠密基座嵌入式设备、实时推理、离线AI助手ERNIE-4.5-0.3B-Instruct3亿3亿32K端侧指令微调移动端应用、智能硬件、边缘计算1.2 多模态模型系列3款模型名称总参数量激活参数量上下文窗口核心定位适用场景ERNIE-4.5-VL-424B-A47B-Base4240亿470亿128K多模态旗舰基座多模态理解、图像描述、视觉问答ERNIE-4.5-VL-424B-A47B-Instruct4240亿470亿128K多模态指令微调图文生成、内容审核、智能客服ERNIE-4.5-VL-21B-A3B-Instruct210亿30亿128K轻量多模态移动端多模态应用、实时图像分析注所有模型均已同步上传至Hugging Face、飞桨星河、魔搭社区和GitCode四大平台开发者可自由选择下载渠道。二、核心技术深度解析ERNIE 4.5的性能飞跃源于三项原创的核心技术创新彻底解决了传统大模型多模态融合难、推理成本高、长上下文效果差的行业痛点。2.1 多模态异构混合专家架构Heterogeneous MoE这是ERNIE 4.5最核心的技术突破首次实现了文本与视觉模态的深度融合解决了传统多模态模型模态割裂的问题。技术原理模态隔离路由机制设计了双模态路由器文本和视觉输入分别进入对应的专家组同时共享底层通用特征提取层。这种设计既保留了模态特异性又实现了跨模态信息的高效交互。专家正交性优化引入路由器正交损失函数强制不同专家专注于不同的语义空间避免了传统MoE模型常见的专家坍塌问题。官方测试显示专家利用率从传统的30%提升至85%以上。动态激活策略根据输入内容的复杂度动态调整激活专家数量简单任务激活4个专家复杂任务激活8个专家在保证性能的同时将推理成本降低了60%。性能收益多模态任务准确率平均提升27%单Token计算量仅为同规模稠密模型的15%训练吞吐量提升47%训练成本降低52%2.2 全栈高效训推体系基于飞桨PaddlePaddle深度学习框架百度构建了从训练到推理的全栈优化方案实现了训练更快、推理更省、部署更易的目标。训练优化异构混合并行采用数据并行张量并行流水线并行专家并行的四维并行策略结合自动负载均衡技术在20万卡GPU集群上实现了92%的线性加速比。FP8混合精度训练创新的FP8精度校准技术在不损失模型精度的前提下将训练显存占用降低了50%训练速度提升了2倍。增量预训练基于ERNIE 4.0的权重进行增量训练仅用1/3的算力就达到了全新训练的效果。推理优化多专家并行协同量化针对MoE模型的特点提出了专家级别的量化策略实现了4-bit/2-bit近无损量化推理速度提升3倍显存占用降低75%。预填充-解码分离部署将长文本预填充和短文本解码分离部署在不同的硬件上大幅提升了高并发场景下的资源利用率QPS提升了5倍。动态批处理智能合并不同用户的请求在保证延迟的前提下最大化GPU利用率。2.3 模态针对性后训练针对不同任务场景进行精细化调优兼顾通用能力和垂直领域表现尤其是在中文能力上实现了对海外模型的全面超越。三阶段训练流程监督微调SFT使用1.2亿条高质量指令数据进行微调覆盖200多个垂直领域。直接偏好优化DPO基于人类反馈数据优化模型的回答质量提升指令遵循能力和安全性。统一偏好优化UPO百度原创的优化算法同时优化模型的有用性、无害性和诚实性解决了传统DPO算法容易出现的对齐税问题。中文深度优化预训练语料中中文占比达到65%包含海量的中文书籍、论文、新闻、网页和社交媒体数据。针对中文的语法、语义和文化特点进行了专门优化中文理解和生成能力远超海外模型。在C-Eval、CMMLU、Gaokao等中文基准测试中ERNIE-4.5-300B-A47B-Instruct得分均超过90分位居开源模型第一。三、性能基准对比在全球主流的大模型基准测试中ERNIE 4.5系列全面超越了此前的开源模型多项指标达到闭源模型水平。3.1 通用能力对比基准测试测试维度ERNIE-4.5-300B-A47BDeepSeek-V3-671BQwen3-72BLlama 3-70BMMLU通用知识89.488.286.183.1C-Eval中文知识87.682.384.572.8IFEval指令遵循92.187.589.385.7GSM8K数学推理86.384.783.278.9HumanEval代码生成85.784.283.579.1MT-Bench对话能力8.78.58.48.2数据来源ERNIE 4.5官方技术报告2025年6月3.2 多模态能力对比基准测试测试维度ERNIE-4.5-VL-424B-A47BGPT-4oGemini 2.5 ProQwen-VL-MaxMME多模态理解1890192018701820VQA-v2视觉问答85.386.784.182.5TextVQA文本识别82.784.281.579.3DocVQA文档理解88.990.187.285.6OCRBench光学字符识别91.292.588.786.3四、快速上手应用指南4.1 环境准备# 安装PyTorch版本依赖pipinstalltransformers torch sentencepiece accelerate# 安装PaddlePaddle版本依赖推荐国内用户pipinstallpaddlepaddle-gpu erniekit fastdeploy4.2 PyTorch 调用示例fromtransformersimportAutoTokenizer,AutoModelForCausalLMimporttorch# 加载模型和分词器以21B轻量版为例model_namebaidu/ERNIE-4.5-21B-A3B-InstructtokenizerAutoTokenizer.from_pretrained(model_name,trust_remote_codeTrue)modelAutoModelForCausalLM.from_pretrained(model_name,torch_dtypetorch.bfloat16,device_mapauto,trust_remote_codeTrue)# 生成回答prompt请用Python写一个快速排序算法并添加详细的注释和测试用例messages[{role:user,content:prompt}]inputstokenizer.apply_chat_template(messages,tokenizeTrue,return_tensorspt,return_dictTrue).to(model.device)outputsmodel.generate(**inputs,max_new_tokens2048,temperature0.1,top_p0.9,do_sampleTrue)responsetokenizer.decode(outputs[0],skip_special_tokensTrue)print(response)4.3 PaddlePaddle 调用示例fromerniekitimportErnieModelForCausalLM,ErnieTokenizer# 加载模型modelErnieModelForCausalLM.from_pretrained(baidu/ERNIE-4.5-21B-A3B-Instruct)tokenizerErnieTokenizer.from_pretrained(baidu/ERNIE-4.5-21B-A3B-Instruct)# 生成回答prompt解释一下什么是大模型的混合专家架构它有什么优缺点inputstokenizer(prompt,return_tensorspd)outputsmodel.generate(**inputs,max_new_tokens1024,temperature0.7)print(tokenizer.decode(outputs[0],skip_special_tokensTrue))4.4 多模态模型调用示例fromtransformersimportAutoProcessor,AutoModelForVisionAndLanguageGenerationimporttorchfromPILimportImage# 加载多模态模型model_namebaidu/ERNIE-4.5-VL-21B-A3B-InstructprocessorAutoProcessor.from_pretrained(model_name,trust_remote_codeTrue)modelAutoModelForVisionAndLanguageGeneration.from_pretrained(model_name,torch_dtypetorch.bfloat16,device_mapauto,trust_remote_codeTrue)# 加载图片imageImage.open(example.jpg)# 生成回答prompt请描述这张图片的内容并提取其中的文字信息inputsprocessor(textprompt,imagesimage,return_tensorspt).to(model.device)outputsmodel.generate(**inputs,max_new_tokens512)responseprocessor.decode(outputs[0],skip_special_tokensTrue)print(response)五、部署指南5.1 本地一键部署FastDeployFastDeploy是百度专为大模型打造的推理部署工具支持一键启动OpenAI兼容的API服务# 安装FastDeploypipinstallfastdeploy-gpu-python# 启动API服务以0.3B端侧模型为例python-mfastdeploy.entrypoints.openai.api_server\--modelbaidu/ERNIE-4.5-0.3B-Instruct\--port8180\--host0.0.0.0\--max-model-len32768\--max-num-seqs32启动后即可使用OpenAI SDK调用fromopenaiimportOpenAI clientOpenAI(base_urlhttp://localhost:8180/v1,api_keydummy)responseclient.chat.completions.create(modelbaidu/ERNIE-4.5-0.3B-Instruct,messages[{role:user,content:你好}])print(response.choices[0].message.content)5.2 硬件要求参考模型最低显存要求FP16推荐显存要求4-bit量化推理速度Token/秒ERNIE-4.5-0.3B2GB1GB200ERNIE-4.5-21B-A3B40GB16GB80ERNIE-4.5-300B-A47B320GB80GB4张A100 80GB305.3 企业级部署对于有更高性能和安全需求的企业推荐使用百度智能云千帆大模型平台提供的托管服务弹性扩缩容支持百万级并发企业级安全防护和数据隔离完整的监控和运维体系定制化模型微调服务SLA保障可用性99.99%六、微调指南ERNIEKit提供了完整的模型微调工具链支持LoRA、QLoRA和全参数微调无需编写复杂代码即可完成定制化模型训练。6.1 LoRA微调示例fromerniekitimportErnieTrainer,ErnieTrainingArguments# 定义训练参数training_argsErnieTrainingArguments(output_dir./ernie-4.5-finetuned,per_device_train_batch_size4,gradient_accumulation_steps4,learning_rate2e-5,num_train_epochs3,logging_steps10,save_steps100,fp16True,lora_rank8,lora_alpha32,lora_dropout0.05)# 初始化训练器trainerErnieTrainer(model_name_or_pathbaidu/ERNIE-4.5-21B-A3B-Instruct,argstraining_args,train_filetrain.jsonl,validation_fileval.jsonl)# 开始训练trainer.train()# 保存模型trainer.save_model(./ernie-4.5-finetuned)6.2 数据格式要求训练数据采用JSONL格式每一行是一个对话样本{messages:[{role:user,content:你好},{role:assistant,content:你好我是文心一言有什么可以帮你的吗}]}{messages:[{role:user,content:11等于几},{role:assistant,content:11等于2}]}七、典型应用场景1. 智能客服与对话机器人利用ERNIE 4.5强大的中文理解和指令遵循能力构建7×24小时智能客服支持多轮对话、上下文理解和个性化回答可快速微调适配企业知识库和业务流程2. 内容创作与生成自动生成文章、报告、文案、诗歌、剧本等各类内容支持内容润色、改写、翻译和摘要生成多模态模型可实现图文结合的内容创作3. 代码开发与辅助代码生成、补全、调试和重构自动生成单元测试和文档支持30多种编程语言和主流框架4. 企业知识管理构建企业级知识库和智能问答系统自动处理和分析文档、合同、邮件等非结构化数据辅助决策和风险评估5. 多模态应用图像识别、描述和问答文档理解和信息提取视频内容分析和摘要生成八、生态与未来规划8.1 配套工具链百度同步开源了两大开发套件为开发者提供开箱即用的全流程支持ERNIEKit文心大模型开发套件支持模型微调、评估、推理全流程FastDeploy大模型高效部署套件支持多硬件、多平台部署提供OpenAI兼容API8.2 未来规划百度文心大模型团队表示将持续投入ERNIE系列的研发未来计划2026年Q3开源ERNIE 4.5语音模型支持语音识别和语音生成2026年Q4推出ERNIE 5.0预览版进一步提升推理能力和多模态融合效果2027年Q1开源端侧专用模型支持手机、手表等嵌入式设备2027年Q2推出行业模型库覆盖金融、医疗、教育、制造等20个垂直领域持续优化工具链和生态降低开发者使用门槛结尾文心大模型4.5系列的全面开源是中国AI产业发展的重要里程碑。它不仅为全球开发者提供了一个高性能、低成本的大模型选择更为中国AI产业的自主可控发展奠定了坚实的基础。百度始终坚持开源开放的理念相信通过全行业的共同努力AI技术将更快地落地应用惠及每一个人。未来百度将继续与全球开发者和企业携手共同推动AI技术的创新和发展构建更加繁荣的AI生态。