本文系统梳理了AI知识体系从LLM、Prompt、幻觉等基础认知到Embedding、RAG、知识库等记忆技术再到Agent、MCP、Skills、Rules等执行与规范最后结合AI工程化实践与AI测试构建了一套完整的AI能力框架。旨在帮助读者理解AI智能员工的核心构成掌握关键技术要点并通过工程化方法将AI落地应用从而提升个人与团队的AI竞争力。AI知识体系全景封面核心公式在深入每个知识点之前先记住这个串联公式 LLM大脑 Prompt语言 ️ RAG记忆 MCP双手 Skills技能 Rules规范 AI智能员工这 12 期内容就是把这个公式的每一项讲透。模块一认知篇第01-03期理解AI的本质才能真正用好AI认知篇LLM、Prompt、AI幻觉1、LLM 大语言模型LLM 是什么大语言模型Large Language Model的本质是基于海量文本训练的概率预测机器。给定一段文字它预测下一个词最可能是什么不断重复这个过程就生成了完整的回答。为什么这么强大当模型参数规模突破某个阈值会出现涌现能力Emergent Abilities——一些在小模型上完全不存在的能力突然在大模型上出现了• 多步推理解数学题、写代码• 上下文学习给几个例子立刻学会新任务• 指令遵循“用中文回答、限100字”——做到核心概念速查概念解释Token模型处理文本的最小单位约等于半个中文字或3/4个英文字母上下文窗口模型能看到的最大文本长度决定了记忆范围Temperature控制输出随机性0保守精确1创意发散微调Fine-tuning在预训练模型基础上用特定数据继续训练使其适应特定任务RLHF人类反馈强化学习让模型学会人类喜欢的回答方式代表模型GPT-4oOpenAI、Claude 3.5Anthropic、Gemini 2.0Google、DeepSeek-V3国产2、Prompt 提示词工程Prompt 是什么Prompt 是你发给 AI 的指令。同样一个问题问法不同回答质量可以差10倍。Prompt 工程就是研究如何让 AI 给出最好回答的艺术与科学。黄金四要素角色Role你是一位资深产品经理...任务Task请帮我分析以下需求的可行性...背景Context这是一个面向B端企业的SaaS产品...格式Format请用结构化表格输出包含可行性、风险、建议三列进阶技巧•Few-Shot 示例法给 AI 看几个例子它就能举一反三。比请帮我写效果好得多。•思维链CoT加上请一步步思考让 AI 先推理再回答准确率大幅提升。•角色扮演让 AI 扮演特定专家回答质量更专业。•输出约束明确格式JSON/表格/列表、长度、语言风格避免废话。常见错误• ❌ 问题太模糊“帮我写个报告” → ✅ “帮我写一份500字的Q1季度营销复盘包含数据亮点、问题分析、Q2建议三部分”• ❌ 一次塞太多任务 → ✅ 拆分成多轮对话每次聚焦一个目标• ❌ 不给上下文 → ✅ 提供背景信息AI 才能给出针对性回答3、 AI 幻觉与可信度什么是 AI 幻觉AI 幻觉Hallucination是指 AI自信地给出错误信息。它不是不知道就说不知道而是会编造听起来合理、实际上错误的内容。为什么会产生幻觉根本原因在于 LLM 的工作方式——它是在预测最可能的下一个词而不是在查找事实。当训练数据中没有某个信息或者问题超出模型知识边界时模型会脑补一个听起来合理的答案。幻觉的典型场景• 编造不存在的论文、书籍、人物• 时间敏感信息训练数据有截止日期• 精确数字、统计数据容易张冠李戴• 小众、专业领域知识训练数据少应对方案方案原理效果RAG检索增强让 AI 基于真实文档回答而非凭记忆⭐⭐⭐⭐⭐ 最有效要求溯源引用让 AI 给出信息来源便于验证⭐⭐⭐⭐多轮验证换个角度再问一次交叉验证⭐⭐⭐降低 Temperature减少随机性输出更保守⭐⭐人工复核关键信息必须人工核实⭐⭐⭐⭐⭐不可省略核心认知AI 是概率机器不是事实数据库。高风险决策永远需要人工复核。模块二记忆篇第04-06期有了记忆AI 才能成为真正的知识助手记忆篇Embedding、RAG、知识库4、 Embedding 向量化Embedding 是什么Embedding向量化是把文字、图片、代码等任何内容转换成一组数字向量的技术。这组数字捕捉了内容的语义信息使得含义相近的内容在数字空间里的距离也更近。为什么需要 Embedding计算机只懂数字不懂语言。Embedding 是连接自然语言与数学计算的桥梁。有了向量就可以• 计算两段文字的语义相似度• 在海量文档中快速找到最相关的内容• 实现跨语言的语义搜索中文问题找到英文答案直觉理解苹果 → [0.23, -0.87, 0.45, 0.12, ...]香蕉 → [0.25, -0.83, 0.41, 0.09, ...] # 与苹果很近都是水果汽车 → [-0.67, 0.34, -0.89, 0.56, ...] # 与苹果很远不同类别向量数据库专门存储和检索向量的数据库支持找到与这个向量最相似的 Top-K 个向量的高效查询。主流选择Pinecone云端、Weaviate开源、Milvus高性能、Chroma轻量本地5、 RAG 检索增强生成RAG 是什么RAGRetrieval-Augmented Generation检索增强生成是解决 AI 幻觉问题的核心方案。核心思路不让 AI 凭记忆回答而是先检索相关文档再基于文档回答。RAG 工作流程用户提问 ↓1. 将问题向量化Embedding ↓2. 在知识库中检索最相关的文档片段Top-K ↓3. 将检索结果 原始问题一起送给 LLM ↓4. LLM 基于检索结果生成有依据的回答 ↓用户获得有来源的准确答案RAG vs 微调Fine-tuning对比维度RAG微调知识更新实时更新改文档即可需要重新训练成本低高GPU资源可解释性高可追溯来源低适用场景知识问答、文档检索特定风格/格式输出RAG 的局限• 检索质量直接影响回答质量垃圾进垃圾出• 超长文档处理困难切片策略很关键• 多跳推理需要组合多个文档的信息能力有限6、知识库工程实践知识库工程解决什么问题RAG 的效果上限由知识库的质量决定。知识库工程就是让知识库持续保持高质量、高可用的工程实践。知识库构建的五个关键环节1. 文档采集与清洗• 支持多格式PDF、Word、Markdown、网页、代码• 去除噪音页眉页脚、广告、乱码、重复内容• 结构化提取表格、图表的文字化处理2. 智能切片Chunking切片策略直接影响检索质量•固定长度切片简单但可能切断语义•语义切片按段落/章节切保持语义完整•递归切片先大块后小块保留层次结构•重叠切片相邻切片有重叠避免边界信息丢失3. 向量化与索引• 选择合适的 Embedding 模型中文推荐text-embedding-3-large、BGE-M3• 建立向量索引HNSW 算法支持亿级向量高效检索• 元数据索引来源、时间、类别支持过滤查询4. 检索优化•混合检索向量检索 关键词检索取长补短•重排序Reranking用更精准的模型对检索结果重新排序•查询扩展将用户问题改写为多个变体提高召回率5. 持续维护• 定期更新过时文档• 监控检索命中率和用户满意度• 基于反馈持续优化切片和检索策略经验法则知识库质量 数据质量 × 切片策略 × 检索策略。三者缺一不可。模块三执行篇第07-10期Agent 是 AI 从顾问到员工的关键跨越执行篇Agent、MCP、Skills、Rules7、AI Agent 智能体Agent 是什么AI Agent智能体是能够自主感知环境、规划任务、调用工具、完成目标的 AI 系统。它不只是回答问题而是真正地做事。Agent vs 普通 LLM 的区别对比普通 LLMAI Agent交互方式一问一答自主规划多步执行工具调用无可调用搜索/代码/API等工具记忆仅当前对话短期长期记忆目标导向回答当前问题完成复杂目标自主性被动响应主动规划和行动Agent 的核心循环ReAct 框架思考Thought分析当前状态决定下一步行动 ↓行动Action调用工具或执行操作 ↓观察Observation获取行动结果 ↓再次思考... 循环直到目标完成Agent 的典型应用•代码 Agent理解需求→写代码→运行调试→修复错误→返回结果•研究 Agent分解问题→搜索信息→综合分析→生成报告•运维 Agent监控告警→分析根因→执行修复→验证结果•测试 Agent分析需求→生成用例→执行测试→分析报告8、MCP 协议MCP 是什么MCPModel Context Protocol模型上下文协议是 Anthropic 于 2024 年底发布的开放标准定义了AI 模型与外部工具/数据源之间的通信规范。MCP 解决了什么问题在 MCP 之前每个 AI 应用都要自己实现与各种工具的集成重复造轮子维护成本极高。MCP 提供了统一的标准工具开发者只需实现一次 MCP Server所有支持 MCP 的 AI 客户端都能直接使用。MCP 架构AI 客户端Claude/Cursor/你的应用 ↕ MCP 协议JSON-RPC MCP Server工具提供方 ↕ 原生 API 外部服务数据库/GitHub/Slack/文件系统/...MCP 的三类能力能力类型说明例子Tools工具AI 可以调用的函数执行代码、发送邮件、查询数据库Resources资源AI 可以读取的数据文件内容、数据库记录、API 响应Prompts提示模板预定义的 Prompt 模板代码审查模板、文档生成模板为什么 MCP 很重要MCP 正在成为 AI 工具生态的 “USB 标准”——一旦标准确立工具数量会爆炸式增长AI 的能力边界将大幅扩展。目前已有数千个 MCP Server 可用覆盖开发、办公、数据、运维等各类场景。9、AI Skills 技能体系Skills 是什么Skills技能是封装了特定领域知识、工作流程和工具调用能力的可复用模块。它让 AI 能够在特定领域发挥专家级水平而无需每次都从零开始。Skill 的组成一个完整的 Skill 包含 ├── SKILL.md# 技能说明文档AI 加载后读取的指令├── prompts/# 预定义的 Prompt 模板├── scripts/# 辅助脚本Python/Shell└── references/# 参考资料和示例Skills 的三大价值专业化每个 Skill 专注一个领域比通用 AI 更精准• 测试用例生成 Skill懂边界值分析、等价类划分• PPT 制作 Skill懂排版、配色、内容结构• 代码审查 Skill懂安全漏洞、性能问题、代码规范可复用写一次处处可用。团队成员共享同一套技能库• 避免每个人重复调试 Prompt• 统一团队的 AI 使用标准可进化基于使用反馈持续优化技能越用越好• 记录失败案例迭代改进• 自动化评估技能效果Skills 生态优秀的 AI 平台都在构建技能市场如 Knot Skill 市场用户可以直接安装他人创建的技能也可以发布自己的技能供他人使用。10、AI Rules 行为规范Rules 是什么Rules规范是定义 AI 行为边界和工作方式的约束规则。它回答了一个关键问题AI 应该怎么做、不应该怎么做为什么需要 Rules没有规范的 AI 就像没有规章制度的员工——可能很聪明但行为不可预测难以信任。Rules 让 AI 的行为变得•可预期知道它会怎么做•可信任知道它不会做什么•可审计行为有据可查Rules 的四个维度1. 角色定义Who你是一位资深软件测试工程师专注于移动端 App 测试有10年 iOS/Android 测试经验...2. 行为约束What NOT to do- 不得在没有充分证据的情况下得出结论- 不得修改用户未明确要求修改的代码- 遇到安全相关操作必须先征得用户确认3. 工作流程How收到测试需求后按以下步骤处理1. 先理解业务背景2. 识别测试重点正常/边界/异常3. 生成结构化测试用例4. 提供优先级建议4. 输出格式Format测试用例必须包含用例ID、前置条件、操作步骤、预期结果、优先级格式Markdown 表格Rules 的层次•全局 Rules对所有任务生效如安全约束、输出语言•项目 Rules特定项目的规范如代码风格、命名规范•任务 Rules单次任务的临时约束如这次只考虑移动端模块四落地篇第11-12期AI 的价值在于解决真实问题创造真实价值落地篇AI工程化实践与AI测试11、AI 工程化实践Demo 和生产系统的距离有多远很多人用 AI API 做了一个酷炫的 Demo就以为可以直接上线。但 Demo → 生产这段距离是 10 倍的工程量。工程化实践就是填平这段距离的系统方法。五大工程化支柱1. 可靠性ReliabilityAI API 调用随时可能失败网络超时、限流、模型服务抖动。生产系统必须有完整的容错机制# 必备的可靠性模式重试机制指数退避最多3次 熔断器失败率超阈值时自动停止调用 超时控制每次调用设置合理超时如30s 降级策略主模型不可用时切换备用模型2. 可观测性Observability你无法改进你看不到的东西。AI 系统的可观测性包括三个层面层面监控内容工具日志每次请求的 Prompt、响应、耗时、Token 用量ELK、Loki指标成功率、P99 延迟、Token 消耗、费用Prometheus Grafana链路复杂 Agent 的多步执行链路追踪LangSmith、Jaeger评估回答质量评分准确性、相关性、安全性Ragas、自研评估框架3. 安全防护SecurityAI 系统面临独特的安全威胁•Prompt 注入攻击用户输入恶意指令试图覆盖系统 Prompt• 防御输入清洗、输出过滤、沙箱隔离•数据泄露敏感信息被 AI 泄露给其他用户• 防御数据脱敏、访问控制、租户隔离•幻觉风险AI 给出错误信息被用户信任• 防御RAG 接地气、置信度评估、高风险场景强制人工审核4. 可扩展性Scalability•多模型路由根据任务类型选择最合适的模型便宜的任务用小模型复杂任务用大模型•流量控制限流、排队、优先级调度•缓存策略相似问题命中缓存减少 API 调用5. 可维护性Maintainability•Prompt 版本管理像代码一样管理 Prompt支持回滚•A/B 测试对比不同 Prompt 的效果数据驱动优化•文档化记录每个 AI 功能的设计决策、已知局限、维护注意事项上线前 10 条检查清单•所有 API 调用有重试和超时机制•异常情况有降级方案不能让用户看到报错•敏感信息已脱敏不把用户数据发给 AI•Prompt 注入防护已到位•关键指标已接入监控•费用上限已设置防止异常消耗•回答质量评估机制已建立•Prompt 版本已纳入版本控制•高风险操作有人工审核流程•压测通过确认并发下系统稳定12、AI 测试AI 如何改变软件测试传统测试面临根本矛盾需求越来越多、迭代越来越快但测试资源始终有限。AI 的出现让这个矛盾有了全新的解法——让 AI 承担 60% 的重复性测试工作让人专注于高价值的探索性测试。AI 测试的四大核心能力1. 智能用例生成只需提供需求文档或代码AI 自动生成覆盖三类场景的测试用例用例类型覆盖重点人工遗漏率正常流程标准输入下的核心功能低边界条件最大值、最小值、临界值高最容易漏异常场景网络超时、并发冲突、非法输入极高效率对比人工编写 1天/50条 → AI 生成 5分钟/500条效率提升 10 倍。2. 智能执行与自愈传统自动化测试最大痛点是维护成本高——UI 改了一个按钮位置几十个脚本全部失效。AI 驱动的智能执行•视觉定位不依赖 XPath/ID通过视觉特征识别元素•自愈能力执行失败时自动尝试备选策略记录修复方案•并行加速智能分析用例依赖关系自动编排并行执行3. 缺陷预测AI 分析代码提交记录、历史缺陷数据、代码复杂度预测哪些模块最可能出现缺陷引导测试资源优先覆盖高风险区域高风险因素- 高频变更模块Git 提交频率高- 历史缺陷集中区Bug 热点- 高圈复杂度代码- 新增依赖关系影响范围4. 智能分析与报告• AI 自动分类缺陷新增/回归/环境问题• 识别根因给出修复建议• 生成可读性强的质量报告一键汇报AI 测试落地四步法第一步第1-2周AI 辅助用例生成 → 选一个核心模块AI 生成初版人工审核补充第二步第3-4周接入自动化执行 → 转换为自动化脚本接入 CI/CD每次提交自动触发第三步第5-6周智能分析与报告 → AI 分析测试结果自动生成缺陷报告第四步持续进行持续学习优化 → 基于历史数据训练缺陷预测准确率持续提升总结AI Agent 全景图这 12 期内容共同构成了一个完整的 AI 知识体系AI Agent 全景图全景图解读┌─────────────────────────────────────────────────────┐ │ 应用层 │ │ AI智能员工 · AI测试工程师 · AI产品经理 · 各类垂直Agent │ └─────────────────────────────────────────────────────┘ ↑ ┌─────────────────────────────────────────────────────┐ │ ⚡ Agent 核心执行引擎 │ │ 感知Prompt → 推理LLM → 行动工具调用 │ └─────────────────────────────────────────────────────┘ ↑ ↑ ┌──────────────────┐ ┌──────────────────────┐ │ MCP 工具层 │ │ Skills 技能层 │ │ 数据库/API/文件 │ │ 代码/文档/分析/生图 │ └──────────────────┘ └──────────────────────┘ ↑ ↑ ┌─────────────────────────────────────────────────────┐ │ Rules 规范层行为边界 │ │ 角色定义 · 行为约束 · 工作流程 · 输出格式 │ └─────────────────────────────────────────────────────┘ ↑ ┌─────────────────────────────────────────────────────┐ │ ️ 知识层记忆体系 │ │ Embedding → 向量数据库 → RAG检索 → 知识库工程 │ └─────────────────────────────────────────────────────┘ ↑ ┌─────────────────────────────────────────────────────┐ │ 基础层认知基础 │ │ LLM大模型 · Prompt工程 · 幻觉治理 · 工程化实践 │ └─────────────────────────────────────────────────────┘核心串联逻辑层次对应期数核心作用 基础层第01-03期理解 AI 的本质LLM 是什么怎么说话有什么局限️ 知识层第04-06期给 AI 装上记忆向量化、检索、知识库工程⚡ 执行层第07-10期让 AI 能干活Agent 框架、工具协议、技能封装、行为规范 落地层第11-12期让 AI 创造价值工程化实践、AI 测试落地给不同角色的建议‍ 开发工程师重点掌握MCP 协议工具集成 RAG知识库构建 AI 工程化实践可靠性/可观测性实践路径先用 GitHub Copilot 提效再探索 AI Agent 自动化流程 产品经理重点掌握LLM 基础认知 Prompt 工程 Agent 能力边界实践路径用 AI 辅助需求分析、竞品调研、PRD 写作 测试工程师重点掌握AI 测试四大能力 工具选型 落地四步法实践路径从 AI 辅助用例生成开始逐步引入智能执行和缺陷预测 设计师/运营重点掌握Prompt 工程 AI 工具使用 幻觉识别实践路径用 AI 辅助创意生成、内容创作建立 AI 辅助工作流最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】