056、NPU的残差连接（Residual Connection）：硬件实现

056、NPU的残差连接（Residual Connection）：硬件实现去年调试某款12nm制程的AI芯片时，遇到一个诡异的精度问题：ResNet-50在FP16推理时，第4个残差块的输出总是比软件参考模型高出0.3%。查了三天RTL波形，最后发现是残差路径上的加法器在特定数据模式下发生了饱和截断——硬件设计时为了省面积，把残差加法器的位宽砍了2bit。这个教训让我意识到，残差连接在NPU里远不是“把两条数据加一起”那么简单。残差路径的物理代价先看一个残差块的标准结构：主路径经过卷积、BN、ReLU，旁路直接跳连。在软件里这只是一行代码y = F(x) + x，但在硬件里，这条旁路意味着：需要额外保留一份输入特征图的完整拷贝，直到主路径处理完毕加法器必须支持不同位宽的对齐（主路径可能经过量化，旁路是原始位宽）数据流调度要保证两条路径在时间上精确对齐我见过最粗暴的实现是在SRAM里开双缓冲区，一份给主路径流水，一份给残差路径保留。这直接导致芯片面积增加15%，功耗上升8%。更聪明的做法是利用NPU的“写回前暂存”机制——在MAC阵列完成卷积后，数据写回SRAM之前，插入一个加法器，从SRAM的另一个端口读出残差数据，在写回路径上完成累加。加法器的位宽陷阱回到开头的故事。那个芯片的残差加法器设计为16bit，主路径卷积输出也是16bit，看起来没问题。但问题出在：残差路径的数据来自前一层ReLU