AMCT大模型量化【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct1 量化前提1.1 安装依赖本sample依赖包可参考requirements.txt需要注意的是torch_npu包版本需要与Python、torch包版本相匹配需要安装CANN包1.2 模型和数据集准备本sample以Llama2-7bqwen2-7bqwen3-8b模型pileval数据wikitext2数据集为示例。 模型请用户自行下载并传模型路径到脚本数据集为在线加载。1.3 简易量化配置本sample中使用的量化配置已经内置在工具中可以通过下述方式获取并使用from amct_pytorch import HIFP8_OFMR_CFG如果需要修改详细配置请参考资料构造需要的量化配置dict。ofmr算法支持仅权重量化和全量化支持的量化类型以及量化配置字段类型说明取值范围注意事项batch_numuint32量化使用的batch数量1/skip_layersstr跳过量化的层/跳过量化层支持模糊匹配当配置字符串为层名字串或与层名一致时跳过该层量化不生成量化配置。字符串必须包含数字或字母weights.typestr量化后权重类型float8_e4m3fn/hifloat8/weights.symmtricbool对称量化TRUE/weights.strategystr量化粒度tensor/channel/inputs.typestr量化后激活值类型float8_e4m3fn/hifloat8/inputs.symmtricbool对称量化TRUE/inputs.strategystr量化粒度tensor/algorithmdict量化使用的算法配置{ofmr}/2 量化示例2.1 使用接口方式调用step 1.请在当前目录执行如下命令运行示例程序用户需根据实际情况修改示例程序中的模型路径python3 src/run_llama2_samples.py --model_path/data/Llama2_7b_hf/python3 src/run_qwen_samples.py --model_path/data/Qwen2-7b/python3 src/run_qwen_samples.py --model_path/data/Qwen3-8B/若出现如下信息则说明量化成功Test time taken: 1.0 min 59.24865388870239 s Score: 5.477707其中Score为量化模型PPL具体数值参考下表模型校准集数据集量化前PPL量化后PPLLLAMA2-7Bpilevalwikitext25.4725.505QWEN2-7Bpilevalwikitext27.1377.196QWEN3-8Bpilevalwikitext29.7159.808推理成功后在当前目录会生成量化日志文件./amct_log/amct_pytorch.log【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考