论文网址2408.10538论文代码https://github.com/RascalGdd/PmNet目录1. 心得2. 论文逐段精读2.1. Abstract2.2. Introduction2.3. Related Work2.4. PmLR50Dataset2.5. PmNet Method2.5.1. Framework Overview2.5.2. Masked Temporal Encoding2.5.3. Compressed Sequence Modeling2.5.4. Contrastive Prototype Separation2.6. Experiments2.6.1. Experimental Settings2.6.2. Comparison with State-of-the-art Methods2.6.3. Ablation Studies2.7. Conclusion1. 心得1~2. 论文逐段精读2.1. Abstract①为了监测肝门阻断的时间阻断长了会导致缺血损伤作者提出AI辅助的工作流识别和阻断有效检测②作者收集了一个数据集PmLR50设计了一个方法PmNetPringle maneuverPM 肝门阻断 resection n.切除术后方交会laparoscopic adj.腹腔镜的 intermittently adv.间歇地 ischemic adj.缺血性的局部缺血的2.2. Introduction①PM阶段准备、打结、重切、释放、后处理catheter n.导管(如导尿管) clamp v.夹紧被夹紧(用夹具)夹住被抓住紧紧抓住紧夹住用夹锁锁住(车) n.夹具夹子夹钳车轮夹锁(用于锁住违章停放的车辆)hepatoduodenal ligament n.肝十二指肠韧带2.3. Related Work①介绍了古早的CNN、RNN工作和近期的Transformer相关工作2.4. PmLR50Dataset①PmLR50数据集示例②从合作医院的50个肝脏切除视频中收集了25,037个高分辨率1280×720的视频帧不同操作的帧分布这横轴五十应该是五十个视频吧然后每个视频分别有多少个各阶段的操作写的Number of surgical procedures好奇怪总感觉像是在计数一样其中打结和释放的采样率是3fps其他步骤是0.33fps③其中35个视频切片作为训练集5个作为训练集10个作为测试集④最长视频切片有726帧最少有313帧平均501帧⑤六个医生会标注手术工作流阻断效率一共纳入了五例无效阻断其他都有效组织缺血区域医生用长方形框标注了一些⑥一些统计数据hepatobiliary adj.肝胆肝胆管的2.5. PmNet Method2.5.1. Framework Overview①PmNet框架其中主干是EfficientNet-B32.5.2. Masked Temporal Encoding①通过了主干之后剩下的特征是其中是帧数是通道/特征②使用一个大小的窗口去把视频帧划分为个不重叠的切片使得每个切片的特征是这个很小只有边界可能跨一点点阶段但实际上边界跨阶段多出来的应该是空闲阶段③初始化并拼接在相应下标切片后特征提取其中FC是全连接层C是串联。之后做注意力④做次交换让所有切片都相互交互⑤收集真正例使用EMA 指数移动平均缓慢更新每个重要操作的原型其中是第个手术阶段的原型是第个切片特征咋整个训练的程序是真正例的个数⑥然后算每个片段和原型片段的相似度2.5.3. Compressed Sequence Modeling①为了减轻Transformer计算量作者使用了Compressed Sequence Modeling (CSM)Mamba②把所有缺血框特征拼接在一起然后池化③使用Mamba其中是state space model (SSM)操作④将缺血区域与全局做注意力z2.5.4. Contrastive Prototype Separation①对比损失让片段特征和原型最相似②交叉熵分类③总损失2.6. Experiments2.6.1. Experimental Settings①使用AdamW优化器训练50轮学习率为3e-5②设备两个NVIDIA4090 GPUs③主干在ImageNet上预训练过的EfficientNet-B3④模型输入是20帧作为一段然后每秒取8帧⑤窗长⑥数据增强色彩抖动和随机水平翻转jitter n.振跳颤晃动传真接受图像的不稳定移动信号的不稳定性速度偏差歧离起伏散开疏散破碎 vt.抖动[电子] 跳动战战兢兢使…惶恐不安2.6.2. Comparison with State-of-the-art Methods①结果表②阶段预测可视化和其他模型的对比2.6.3. Ablation Studies①消融实验②消融表③每个阶段的精度④CPS的消融的t SNE图2.7. Conclusion~