025、NPU微码与调度器：如何编排计算任务？从一次诡异的推理延迟抖动说起去年做一款端侧AI芯片的驱动调试，遇到一个让人抓狂的问题：同样的模型，同样的输入，推理时间在大部分时候稳定在3.2ms，但每隔几十次就会突然跳到8.7ms。查了三天，从DMA配置看到电源管理，最后发现是NPU内部的微码调度器在作祟——某个卷积层的微码序列里，一条同步指令的位置放错了，导致计算单元和DMA传输产生了意外的等待。这个坑让我意识到，NPU的微码和调度器，才是真正决定计算效率的“隐形操盘手”。今天我们就来扒一扒，这些藏在硬件深处的指令序列，到底是怎么编排计算任务的。微码不是你想的那样很多人以为NPU的微码就是“精简版的汇编指令”，这个理解其实有偏差。CPU的微码是硬件层面的控制信号序列，而NPU的微码更像是一个计算任务的编排脚本——它不直接操作寄存器，而是告诉硬件“什么时候该做什么”。我习惯把NPU微码分成三个层次：顶层是任务级指令：比如“执行卷积层3”“启动池化”“加载权重”。这些指令由CPU驱动写入NPU的命令队列。中间是微码序列：每个任务级指令对应一串微码，描述如何拆解成计算单元能执行的基本操作。比如一个3x3卷积，微码里会包含“加载输入窗口”“乘加累加”“写回结果”的时序控制。底层是微操作：这是硬件直接执行的原子动作，比如“启动MAC阵列”“触发累加器清零”。这部分通常不暴露