画师竹取工坊大佬们好我是Mem0rin现在正在准备自学转码。如果我的文章对你有帮助的话欢迎关注我的主页Mem0rin欢迎互三一起进步文章目录前言一、什么是 Transformer Transformer 架构Transformer 模型二、Transformer 的构成三、一个简单的例子串起来看看前言这是我在 agent 方向的初步探索希望能在后端学习的过程中走完 LLM 等agent 相关的技术栈分享出来希望能有所帮助。这篇博客主要是整体进行一个简单的表述具体的自然文本处理模型训练和 Transformer 架构的结构等会在后面具体展开。一、什么是 Transformer Transformer 架构Transformer 架构是著名论文《Attention Is All You Need》提出的框架最初用于翻译后来被用于语言模型的自然语言处理上诞生了一系列具有广泛影响力的模型例如 GPT、BERT并逐渐成为现在大模型的基础。Transformer 模型Transformer 模型是已经通过无监督学习完成大量的原始文本训练的语言模型类似于 GPT。这样的模型对训练过后的数据具有统计学意义上的理解但是对于“特定的”任务可能表现就不尽如人意因此针对特定任务的处理还需要对模型进行微调。流程大概为预训练得到语言模型再通过微调迁移学习成我们需要的模型。具体的内容会在后面的模型训练板块讲到。二、Transformer 的构成最初的 Transformer 架构由两部分组成编码器和解码器。图示如下左边的部分为编码器负责接收输入通过自注意机制建立词和词之间的权重关联用数字表示计算其高级表示条目传输给解码器。右侧的部分为解码器接收编码器的输出和用于预测生成的其他输入预测的 output 可能会在之后重复使用自回归这两个部分都基于 Transformer 的一个重要特性注意力层负责告诉模型在处理单词的时候对于不同单词的重视或忽略程度。在编码器中体现为自注意机制分析原文本词和词之间的关联。在解码器中期限为自注意力和交叉注意力的结合一方面通过掩码注意力机制生成文本右上角一方面通过编码器的输出判断输出的准确性右下角。具体的机制会在后面说明。用一个翻译的例子说明三、一个简单的例子串起来看看你是一个专业的翻译员语言模型经过大量的英语文本的学习预学习已经掌握了英语的相关知识现在要求你去翻译美国文学作品由于文学的写作方式美国的风土人情等专业术语和表达还有所欠缺因此你带着专业的英语知识学习了对应的知识点微调迁移学习具备了翻译出信达雅的文学作品的能力。在翻译一个作品时你先精读了一遍原文本对词和文章的联系有了整体的认知编码层自注意力之后着手进行翻译一方面你一边翻译一边审查你前面翻译的文本确定下面要写的翻译文本是通顺且符合语境的解码层自注意力另一方面因为你已经对文章有了整体的认知因此也可以判断这段文本是忠于原文的解码层交叉注意力。并且你会标注上一些不需要关注的单词比如自己阅读的批注避免对原文的翻译产生干扰注意力掩码层