MogFace人脸检测WebUI集成YOLOv8构建多目标检测与识别系统最近在做一个智慧园区的项目客户提了个挺实际的需求他们希望监控摄像头不仅能识别人脸还能同时检测车辆、包裹、甚至一些危险物品。一开始我们尝试用单一的人脸检测模型结果发现面对复杂的真实场景比如停车场或者物流分拣中心效果总是不尽如人意。要么漏检车辆要么忽略了地上的包裹。这让我意识到很多实际应用场景需要的不是单一的“火眼金睛”而是一套“组合拳”。于是我们把目光投向了将专精人脸的MogFace和全能选手YOLOv8结合起来。今天就来聊聊怎么把这两个模型“撮合”到一起并通过一个统一的Web界面来指挥它们协同工作打造一个真正实用的多目标检测系统。1. 为什么需要多模型协同检测你可能用过一些人脸考勤或者门禁系统它们在人脸正对、光线良好的情况下表现不错。但一旦场景复杂起来比如小区出入口既要识别人脸又要记录车牌或者商超需要统计客流的同时监控货架商品单一模型的局限性就暴露无遗。MogFace在人脸检测上是专家特别是对于小人脸、模糊人脸有很好的检测能力这是它的看家本领。而YOLOv8呢更像一个“多面手”在COCO数据集上能识别80多种常见物体从人到车从杯子到书包覆盖面非常广。把它们俩结合起来思路就很清晰了让MogFace专心致志地抓人脸特别是那些困难的、小尺寸的人脸让YOLOv8负责扫描场景中其他所有感兴趣的物体比如车辆、宠物、行李箱等等。这样一个摄像头画面过来我们就能得到一份更全面的“场景报告”而不是只盯着人脸看。这种架构特别适合几种场景安防监控不仅知道谁出现了还能知道TA身边有什么如可疑包裹、特定车辆。智慧零售分析客流人脸的同时监控货架商品物品的拿取情况。智慧园区/社区管理人行、车行通道实现人车分流统计和异常事件如遗留物检测。2. 系统架构设计与核心思路要把两个模型整合起来并不是简单地把它们的结果堆在一起。我们需要一个“调度中心”来高效地处理这个流程。下图展示了一个清晰、高效的协同检测架构flowchart TD A[输入视频流/图像] -- B(WebUI前端界面) B -- 用户提交检测请求 -- C[后端调度引擎] C -- 复制图像数据 -- D[MogFace人脸检测模型] C -- 复制图像数据 -- E[YOLOv8通用目标检测模型] D -- F[人脸检测结果br边界框、置信度] E -- G[通用目标检测结果br类别、边界框、置信度] F -- H[结果融合与后处理模块] G -- H H -- I{非极大值抑制brNMS去重} I -- J[绘制统一检测框与标签] J -- K[在WebUI界面展示融合结果]这个流程的核心在于并行推理和智能融合并行处理当一张图片从前端传来后端会同时将其发给MogFace和YOLOv8两个模型。这里的关键是我们通常使用像星图这样的GPU平台利用其强大的并行计算能力让两个模型同时跑起来而不是一个接一个地等这能大大缩短整体响应时间。结果融合两个模型的结果返回后会送到一个融合模块。这里最主要的工作是处理可能出现的重复框。比如YOLOv8可能也检测到了人脸在COCO数据集中“人”本身就是一个类别这就会和MogFace的检测框重叠。我们需要通过“非极大值抑制”算法根据置信度等因素保留最优的那个框避免同一个脸上出现两个框的尴尬情况。统一呈现融合后的结果包含了“人脸”以及“车辆”、“背包”等其他物体的信息被统一绘制上带有类别标签的检测框最终回传给前端界面展示给用户。这样一来用户在一个界面里提交一次请求看到的就是融合了人脸与多种目标信息的完整分析结果体验非常顺畅。3. 动手搭建从模型部署到WebUI集成理论讲完了我们来看看具体怎么实现。这里我假设你已经有了基本的Python和Web开发环境。3.1 模型准备与初始化首先我们需要把两位“主角”请上场。这里我们使用ultralytics库来调用YOLOv8而MogFace模型则需要加载其预训练权重。import cv2 import numpy as np from ultralytics import YOLO import torch # 假设MogFace的相关推理代码在一个模块中 from mogface_inference import MogFaceDetector class MultiTargetDetector: def __init__(self): # 初始化YOLOv8模型使用预训练的YOLOv8nnano版本速度较快 print(正在加载YOLOv8模型...) self.yolo_model YOLO(yolov8n.pt) # 可以是 yolov8s.pt, yolov8m.pt 等越大越准也越慢 # 初始化MogFace人脸检测模型 print(正在加载MogFace模型...) self.face_detector MogFaceDetector() # 这里需要你实现或导入MogFace的初始化 # 通常需要加载权重文件例如 # self.face_detector.load_weights(mogface_epoch_100.pth) # 定义我们感兴趣的YOLO类别COCO数据集中 # 这里示例人、自行车、汽车、摩托车、公交车、卡车、背包、手提箱 self.target_classes [0, 1, 2, 3, 5, 7, 24, 26, 28] self.class_names self.yolo_model.names # 获取类别名称字典 def predict(self, image): 核心预测函数对输入图像进行并行检测 Args: image: numpy数组格式的图片 (H, W, C) Returns: combined_results: 融合后的检测结果列表每个元素为 [x1, y1, x2, y2, conf, cls_id, cls_name] # 并行推理在实际部署中可使用线程池实现真正的并行 # 1. 使用YOLOv8进行通用目标检测 yolo_results self.yolo_model(image, classesself.target_classes, verboseFalse)[0] # 2. 使用MogFace进行人脸检测 face_boxes self.face_detector.detect(image) # 假设返回格式为 [[x1,y1,x2,y2,conf], ...] # 处理YOLO结果 detections [] if yolo_results.boxes is not None: boxes yolo_results.boxes.xyxy.cpu().numpy() # 边界框 (x1, y1, x2, y2) confs yolo_results.boxes.conf.cpu().numpy() # 置信度 cls_ids yolo_results.boxes.cls.cpu().numpy().astype(int) # 类别ID for box, conf, cls_id in zip(boxes, confs, cls_ids): cls_name self.class_names[cls_id] # 将YOLO检测结果转换为统一格式 detections.append([*box, conf, cls_id, cls_name]) # 处理MogFace人脸结果赋予一个特定的类别ID例如 -1 或 999 代表“人脸” FACE_CLASS_ID -1 if face_boxes is not None: for face_box in face_boxes: x1, y1, x2, y2, face_conf face_box detections.append([x1, y1, x2, y2, face_conf, FACE_CLASS_ID, face]) # 调用融合与后处理函数 combined_results self._fusion_and_nms(detections) return combined_results3.2 结果融合与后处理拿到两个模型的原始结果后融合是关键。下面的代码展示了如何合并结果并进行非极大值抑制处理。def _fusion_and_nms(self, detections, iou_threshold0.5): 结果融合与非极大值抑制 Args: detections: 所有检测框列表 [x1, y1, x2, y2, conf, cls_id, cls_name] iou_threshold: 重叠度阈值高于此值则视为重叠 Returns: final_detections: 经过NMS处理后的最终结果 if not detections: return [] # 将列表转换为numpy数组便于处理 det_array np.array([d[:5] for d in detections]) # 只取前5位坐标和置信度 classes np.array([d[5] for d in detections]) # 类别ID # 按置信度从高到低排序 order det_array[:, 4].argsort()[::-1] det_array det_array[order] classes classes[order] origin_detections [detections[i] for i in order] keep [] while det_array.size 0: # 保留当前置信度最高的框 keep.append(len(keep)) i 0 if det_array.shape[0] 1: break # 计算当前框索引0与剩余框的IoU交并比 ious self._box_iou(det_array[0:1, :4], det_array[1:, :4]) # 找到IoU小于阈值的框即不重叠的框 inds np.where(ious[0] iou_threshold)[0] # 特别处理人脸框如果是人脸框且与其他人脸框重叠则抑制低置信度的 # 如果是人脸与其他物体重叠通常保留两者人和车可以重叠 current_class classes[0] if current_class -1: # 如果是人脸 # 只对同样是人脸的框进行NMS same_class_inds np.where(classes[1:] -1)[0] overlap_inds np.where(ious[0][same_class_inds] iou_threshold)[0] if len(overlap_inds) 0: # 移除重叠的、低置信度的人脸框 to_remove same_class_inds[overlap_inds] 1 mask np.ones(len(det_array)-1, dtypebool) mask[to_remove] False else: mask np.ones(len(det_array)-1, dtypebool) else: # 对于非人脸物体执行标准的NMS同类相斥 same_class_inds np.where(classes[1:] current_class)[0] overlap_inds np.where(ious[0][same_class_inds] iou_threshold)[0] if len(overlap_inds) 0: to_remove same_class_inds[overlap_inds] 1 mask np.ones(len(det_array)-1, dtypebool) mask[to_remove] False else: mask np.ones(len(det_array)-1, dtypebool) # 更新数组保留不重叠的框 det_array det_array[1:][mask] classes classes[1:][mask] origin_detections [origin_detections[i1] for i in range(mask.shape[0]) if mask[i]] # 根据保留的索引获取最终结果 final_detections [origin_detections[i] for i in keep] return final_detections staticmethod def _box_iou(box1, box2): 计算两组边界框之间的IoU # box1: (1, 4), box2: (N, 4) inter_x1 np.maximum(box1[:, 0:1], box2[:, 0]) inter_y1 np.maximum(box1[:, 1:2], box2[:, 1]) inter_x2 np.minimum(box1[:, 2:3], box2[:, 2]) inter_y2 np.minimum(box1[:, 3:4], box2[:, 3]) inter_area np.maximum(inter_x2 - inter_x1, 0) * np.maximum(inter_y2 - inter_y1, 0) area1 (box1[:, 2:3] - box1[:, 0:1]) * (box1[:, 3:4] - box1[:, 1:2]) area2 (box2[:, 2] - box2[:, 0]) * (box2[:, 3] - box2[:, 1]) union_area area1 area2 - inter_area iou inter_area / (union_area 1e-7) return iou3.3 构建统一的WebUI界面有了后端检测引擎我们需要一个简单直观的界面让用户来使用。这里我们用Gradio快速搭建一个。import gradio as gr from PIL import Image import tempfile # 初始化我们的多目标检测器 detector MultiTargetDetector() def process_image(input_image): Gradio处理函数接收图片返回标注后的图片和检测结果文本 # 将Gradio的输入转换为OpenCV格式 if isinstance(input_image, str): img cv2.imread(input_image) else: # 如果输入是PIL Image或numpy数组 img cv2.cvtColor(np.array(input_image), cv2.COLOR_RGB2BGR) original_img img.copy() # 进行多目标检测 results detector.predict(img) # 定义颜色映射为人脸和其他类别分配不同颜色 color_map { -1: (0, 255, 0), # 人脸 - 绿色 0: (255, 0, 0), # 人 - 蓝色 2: (0, 0, 255), # 汽车 - 红色 5: (255, 255, 0), # 公交车 - 青色 7: (0, 255, 255), # 卡车 - 黄色 # 其他类别可以继续添加 } default_color (128, 128, 128) # 默认灰色 result_text 检测结果\n for det in results: x1, y1, x2, y2, conf, cls_id, cls_name det # 绘制边界框 color color_map.get(cls_id, default_color) cv2.rectangle(img, (int(x1), int(y1)), (int(x2), int(y2)), color, 2) # 添加标签和置信度 label f{cls_name}: {conf:.2f} (text_width, text_height), baseline cv2.getTextSize(label, cv2.FONT_HERSHEY_SIMPLEX, 0.5, 1) cv2.rectangle(img, (int(x1), int(y1) - text_height - baseline - 5), (int(x1) text_width, int(y1)), color, -1) cv2.putText(img, label, (int(x1), int(y1) - baseline - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), 1) # 记录结果 result_text f- {cls_name}: 位置({int(x1)},{int(y1)})-({int(x2)},{int(y2)}), 置信度{conf:.2f}\n # 将OpenCV BGR格式转换回RGB用于显示 img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) return img_rgb, result_text # 创建Gradio界面 demo gr.Interface( fnprocess_image, inputsgr.Image(typepil, label上传图片), outputs[ gr.Image(typenumpy, label检测结果可视化), gr.Textbox(label检测结果详情, lines10) ], titleMogFace YOLOv8 多目标检测系统, description上传一张图片系统将同时使用MogFace检测人脸和YOLOv8检测多种目标人、车、物品等。, examples[ [example_street.jpg], # 需要准备示例图片 [example_office.jpg] ] ) if __name__ __main__: # 在本地启动设置shareTrue可生成临时公网链接 demo.launch(server_name0.0.0.0, server_port7860, shareFalse)运行这段代码一个简单的Web界面就启动了。你可以在浏览器中打开它上传图片就能看到MogFace和YOLOv8协同工作的效果了。人脸会被绿色框标出车辆是红色框其他物体也有对应的颜色右侧还会列出详细的检测结果。4. 在星图GPU平台上的部署与优化本地测试没问题后想要让系统稳定、高效地运行尤其是处理视频流或多路并发请求时就需要一个强大的GPU环境。这里可以借助星图这样的AI算力平台。在星图平台上部署的优势很明显开箱即用的环境通常预装了PyTorch、CUDA等深度学习环境省去了繁琐的配置。强大的GPU算力让MogFace和YOLOv8的并行推理真正快起来即使是YOLOv8的大模型版本也能流畅运行。便捷的Web服务部署可以很容易地将我们的Gradio应用或FastAPI后端部署为一个常驻的Web服务并设置公网访问。部署时可以关注这几个优化点模型预热在服务启动时先对两个模型进行几次虚拟推理让GPU和模型完成初始化避免第一个请求响应过慢。请求队列与批处理如果并发请求多可以引入队列机制并将多个请求的图片拼成一个批次进行推理能显著提升GPU利用率。结果缓存对于安防等场景连续视频帧之间相似度高可以考虑对相似帧的检测结果进行短期缓存。动态模型加载根据实际检测到的目标类别热度可以动态决定是否加载更细分的小模型如专门检测消防栓的模型实现“主干插件”的灵活架构。5. 总结与展望把MogFace和YOLOv8集成到一个Web系统里听起来有点复杂但拆解开来就是“分工、合作、呈现”三步走。MogFace负责它擅长的人脸精准定位YOLOv8负责大范围的物体扫描然后我们把它们的结果巧妙地融合起来最后通过一个清晰的界面展示给用户。实际跑起来后效果比单一模型确实要实用得多。在园区项目的测试中这套系统能同时捕捉到出入口的人脸和车辆信息还能注意到一些异常放置的物品满足了客户最初的需求。当然这套组合拳还有很多可以打磨的地方比如针对特定场景如仓库去微调YOLOv8增加它对于货箱、叉车等类别的识别能力或者优化前后端的通信让处理视频流更加实时。这种多模型协同的思路其实可以拓展到更多领域比如把语音识别和自然语言处理模型结合做智能客服或者把图像分类和分割模型结合做更精细的视觉分析。关键在于想清楚每个模型最适合干什么然后设计好它们“握手合作”的流程。希望这个案例能给你带来一些启发当你下次遇到复杂任务时不妨也想想能不能请几位“专家”一起来搞定。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。