黎家辉
返回项目

AI 视觉行为监测系统

面向生物制药生产车间 B/C/D 级洁净区的实时视频 AI 行为分析平台,覆盖 PPE 合规检测、关键操作行为监控与 GMP 审计追溯。

角色:系统开发 时间:2025.11 – 2026.06
计算机视觉目标检测全栈开发视频流

核心亮点

  • 参与 FastAPI 后端开发,实现摄像头管理、分级报警、RBAC 权限、审计日志、报表导出等 REST API,支撑 GMP 合规要求
  • 参与本地 YOLO 推理服务开发与优化,对接 16 路 HLS/RTSP 视频流,实现口罩、护目镜、手套、防护服等 PPE 检测,单路响应 ≤3 秒、准确率 ≥95%
  • 基于 FFmpeg + ZLMediaKit 搭建视频流子系统,实现海康 NVR 多码流转 HLS、多路并发预览与 AI 推理取帧
  • 参与海康 AIOP 报警接入与本地推理方案切换,实现报警去重、截图存档、洁净等级映射及 WebSocket 实时通知
  • 参与 Vue 3 + Electron 前端开发(监控大屏、实时报警推送、HLS.js 多路播放)及安全合规模块(JWT 鉴权、AES-256 加密、面部脱敏、操作审计追踪)
  • 完成 PyInstaller 打包部署与现场联调,编写 Windows 生产环境运维文档

项目背景

生物制药生产车间 B/C/D 级洁净区对人员着装与操作行为有严格的 GMP 规范,传统依赖人工巡检效率低、易遗漏。本项目为苏州鲲因科技有限公司构建了一套实时视频 AI 行为分析平台,现场接入海康威视 NVR 的 16 路生产/检验通道,实现 PPE 合规检测、关键操作行为监控与 GMP 审计追溯。

我的职责

作为系统开发,参与从后端服务、AI 推理、视频流到前端大屏的完整链路开发,并负责打包部署与现场联调。

技术方案

后端服务

基于 FastAPI 开发后端,实现摄像头管理、分级报警、RBAC 权限、审计日志、报表导出等 REST API,通过 SQLAlchemy 访问 SQLite,支撑 GMP 合规要求。

AI 检测服务

参与本地 YOLOv8 推理服务的开发与优化,对接 16 路 HLS/RTSP 视频流,实现口罩、护目镜、手套、防护服等 PPE 目标检测。

视频流子系统

基于 FFmpeg + ZLMediaKit 搭建视频流子系统,实现海康 NVR 多码流转 HLS、多路并发预览与 AI 推理取帧。

平台集成与实时通知

参与海康 AIOP 报警接入与本地推理方案切换,实现报警去重、截图存档、洁净等级映射,通过 WebSocket 向前端实时推送告警。

前端大屏

参与 Vue 3 + Electron 前端开发,实现监控大屏、实时报警推送与 HLS.js 多路播放;安全合规模块包含 JWT 鉴权、AES-256 加密、面部脱敏与操作审计追踪。

技术栈

  • 后端:Python、FastAPI、SQLAlchemy、SQLite
  • AI:YOLOv8、OpenCV、PyTorch
  • 视频:FFmpeg、ZLMediaKit、HLS/RTSP、海康 SDK
  • 前端:Vue 3、Pinia、Electron、WebSocket、HLS.js

成果

  • 单路视频告警响应 ≤3 秒,PPE 检测准确率 ≥95%
  • 使用 PyInstaller 完成打包部署与现场联调,编写 Windows 生产环境运维文档

技术栈

PythonFastAPISQLAlchemyYOLOv8OpenCVPyTorchHLS/RTSP海康 SDKVue 3PiniaElectronWebSocketSQLiteffmpeg