AI技术架构全局视角一、AI/ML/DL/NLP 关系图谱人工智能 (Artificial Intelligence)机器学习 (Machine Learning)深度学习 (Deep Learning)自然语言处理计算机视觉语音识别监督学习无监督学习强化学习专家系统知识表示与推理给机器一堆数据 → 让它自动找到规律 → 以后能自己预测 / 生成B站上录制了对应视频 后端工程师转型AI理解LLM原理的开发者核心关系理解层级名称一句话理解最外层AI让机器展现智能行为的所有技术中层MLAI的子集通过数据学习而非硬编码规则内层DLML的子集使用多层神经网络应用层NLPDL的一个应用方向处理人类语言后端类比AI ≈ 整个后端系统ML ≈ 业务逻辑层根据输入计算输出DL ≈ 复杂的微服务架构多层处理NLP ≈ 特定的API服务如翻译接口二、技术栈分层架构基础层CUDA/GPUPythonNumPy/Pandas框架层PyTorchTensorFlowTransformers模型层大语言模型GPT/LLaMABERT系列专用模型应用层ChatGPT/Claude智能客服代码助手各层详解1. 基础层InfrastructurePythonAI领域的主流语言CUDA/GPU并行计算能力加速训练NumPy/Pandas数据处理的基础库2. 框架层FrameworksPyTorch目前最流行动态图调试友好TensorFlowGoogle出品生产部署成熟TransformersHugging Face的模型库调用预训练模型3. 模型层Models大语言模型GPT、Claude、LLaMA等BERT系列理解型任务专用模型针对特定任务优化4. 应用层Applications各种AI产品和服务三、学习路径建议阅读文档阅读文档阅读文档阅读文档阅读文档阅读文档代码开始第一步基础概念第二步机器学习第三步深度学习第四步NLP第五步模型训练第六步RAG应用大纲-整体技术架构.md机器学习.md深度学习.md自然语言处理.md模型训练.mdRAG基于langchain实现.md学习建议阶段学习内容时间建议目标1基础概念1天建立全局认知2机器学习3-5天理解核心范式3深度学习5-7天理解神经网络4NLP3-5天理解语言模型5模型训练3-5天掌握训练流程6RAG应用持续实际应用能力四、核心术语速查术语英文简单理解模型Model一个数学函数输入→输出训练Training用数据调整模型参数推理Inference用训练好的模型处理新数据损失函数Loss Function衡量模型预测与真实值的差距优化器Optimizer调整参数的算法超参数Hyperparameter训练前设置的参数批次Batch一次训练的样本数量轮次Epoch遍历全部训练数据一次过拟合Overfitting模型死记硬背训练数据泛化Generalization模型处理未见数据的能力五、后端工程师视角AI模型 vs 传统后端服务AI服务输入文本模型推理(概率性计算)输出结果传统后端HTTP请求业务逻辑(确定性的代码)数据库查询HTTP响应关键差异维度传统后端AI服务逻辑确定性规则概率性预测输出相同输入相同输出相同输入可能有不同输出资源CPU为主GPU为主延迟通常100ms可能需要数秒调试断点日志需要分析模型行为部署容器化需要GPU支持