👨‍⚕️主页： gis分享者👨‍⚕️感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅!👨‍⚕️收录于专栏：AI大模型原理和应用面试题文章目录一、🍀回答重点二、🍀扩展知识2.1 ☘️Token 的分词原理2.2 ☘️实战中控制 Token 成本的几个招2.3 ☘️上下文窗口和 Token 的关系三、🍀追问一、🍀回答重点Token是大模型处理文本的最小单位。大模型不是一个字一个字读文本的，先通过分词器 Tokenizer 把文本切成一个个 Token，再去理解和生成。一个 Token 不一定等于一个字。英文里，一个常见单词通常就是 1 个 Token，长一点的单词会被拆成 2～3 个 Token。中文一个汉字通常是 1～2 个 Token，取决于模型用的分词器。计费上，输入 Token 和输出 Token 分开计价，价格差距很大。通常输出 Token 单价是输入的 3～4 倍。原因是：输出 Token 要模型一个一个"生成"，每生成一个都跑一次前向推理，计算成本远高于处理输入。输入的 Token 可以并行处理，效率高得多。所以实际开发中有个很实用的省钱思路：尽量把信息放在输入端，用详细的 Prompt 和上下文喂进去，让模型的输出尽量简洁精准。二、🍀扩展知识