一、研究背景工业异常检测的演进工业产品制造中的异常检测至关重要。由于异常样本稀缺及标注困难该领域已从有监督学习转向无监督异常检测UAD。然而UAD仍依赖目标类别的正常样本进行训练。零样本异常检测ZSAD的兴起在涉及国防、军事或商业机密等数据敏感场景中连正常样本都难以获取。ZSAD旨在无需任何目标产品训练样本的情况下检测和定位异常解决了样本稀缺和数据隐私问题。CLIP模型的局限性现有ZSAD方法多基于CLIP模型。但CLIP预训练于自然图像-文本对存在两大问题域偏移Domain GapCLIP关注全局语义而工业缺陷检测需要细粒度的局部特征感知。文本-视觉错位现有方法多使用固定或静态学习的文本提示难以准确描述多样化且未见的微小缺陷导致跨模态对齐效果差。直观地解释了视觉特征如何指导DDE-CLIP中的文本嵌入。a现有方法通常使用静态文本嵌入来检测各种异常。b相比之下我们的DDE-CLIP使用由DFRM提取的视觉特征来细化文本嵌入使它们能够合并视觉缺陷的独特语义。细化的文本嵌入与其各自的细粒度语义如“洞”、“裂纹”、“划痕”更紧密地相关从而更好地与图像对齐并检测缺陷。二、主要方法DDE-CLIP的整体框架。输入图像由图像编码器处理并且来自其特定中间层的特征由DFRM用于细节增强。这些增强的细节特征与来自文本编码器的文本嵌入一起被馈送到VTRM中。VTRM通过交叉注意力动态优化文本嵌入使它们能够包含关于缺陷的更丰富的视觉信息。最后使用优化后的文本嵌入和相应的视觉特征生成分割图和图像级分类结果。论文提出了DDE-CLIP细节引导双模态增强模型核心包含以下模块细节特征增强模块DFRM采用卷积-Transformer混合架构利用3×3卷积提取局部密集特征如细微划痕弥补ViT缺乏归纳偏置的问题。通过跨层特征融合策略Skip Connection将增强后的细节特征注入视觉编码器的后续层使模型从关注全局语义转向适应工业图像的局部缺陷特征。视觉引导文本细化模块VTRM基于交叉注意力机制将DFRM捕获的细节特征图作为Key/Value文本嵌入作为Query。根据输入图像的视觉内容特别是细节特征动态优化文本提示使文本语义能实时反映当前图像的具体缺陷增强跨模态对齐。深度文本提示微调TPT在文本编码器中间层引入可学习的Prompt Tokens参数高效地微调CLIP的预训练语义空间使其更适配细粒度工业缺陷描述。联合损失函数结合二值交叉熵损失图像级分类与Focal Loss Dice Loss像素级分割解决异常区域占比小导致的样本不平衡问题。三、实验1. 数据集与评估指标测试数据集共使用7个真实世界工业异常检测基准数据集涵盖不同领域和缺陷类型MVTec-AD VisA MPDD SSD 3CAD CID RAD评估指标图像级异常分类接收器工作特性曲线下面积AUROC和平均精度AP像素级异常定位AUROC和每个区域重叠PRO综合性能I-AUROC P-AUROC2. 对比实验结果在7个数据集共28项评估指标中DDE-CLIP在25项中取得最优性能显著优于WinCLIP、APRIL-GAN、AdaCLIP、AnomalyDINO等现有SOTA方法3.计算分析DDE-CLIP在推理时间和内存使用方面确实表现出更高的计算开销。3. 消融实验关键模块的消融每个模块显著增强了ZSAD的性能卷积核设计在DFRM中的影响标准3 × 3内核在测试配置中的所有关键指标上都实现了最佳性能不同要素图层的影响对图像度量的影响比对像素度量的影响小得多浅层特征没有被网络很好地提取出来容易受到噪声的影响而深层特征过于关注全局语义而忽略了细节语义。使用多层特征图融合产生最好的结果因为它结合了浅层和深层的优点实现了来自不同层的细节和语义的互补特征空间分布t-SNE可视化显示DDE-CLIP使正常/异常样本在特征空间中分离度更高类内紧凑性更强