AI 视觉行为监测系统
面向生物制药生产车间 B/C/D 级洁净区的实时视频 AI 行为分析平台,覆盖 PPE 合规检测、关键操作行为监控与 GMP 审计追溯。
角色:系统开发 时间:2025.11 – 2026.06
计算机视觉目标检测全栈开发视频流
核心亮点
- 参与 FastAPI 后端开发,实现摄像头管理、分级报警、RBAC 权限、审计日志、报表导出等 REST API,支撑 GMP 合规要求
- 参与本地 YOLO 推理服务开发与优化,对接 16 路 HLS/RTSP 视频流,实现口罩、护目镜、手套、防护服等 PPE 检测,单路响应 ≤3 秒、准确率 ≥95%
- 基于 FFmpeg + ZLMediaKit 搭建视频流子系统,实现海康 NVR 多码流转 HLS、多路并发预览与 AI 推理取帧
- 参与海康 AIOP 报警接入与本地推理方案切换,实现报警去重、截图存档、洁净等级映射及 WebSocket 实时通知
- 参与 Vue 3 + Electron 前端开发(监控大屏、实时报警推送、HLS.js 多路播放)及安全合规模块(JWT 鉴权、AES-256 加密、面部脱敏、操作审计追踪)
- 完成 PyInstaller 打包部署与现场联调,编写 Windows 生产环境运维文档
项目背景
生物制药生产车间 B/C/D 级洁净区对人员着装与操作行为有严格的 GMP 规范,传统依赖人工巡检效率低、易遗漏。本项目为苏州鲲因科技有限公司构建了一套实时视频 AI 行为分析平台,现场接入海康威视 NVR 的 16 路生产/检验通道,实现 PPE 合规检测、关键操作行为监控与 GMP 审计追溯。
我的职责
作为系统开发,参与从后端服务、AI 推理、视频流到前端大屏的完整链路开发,并负责打包部署与现场联调。
技术方案
后端服务
基于 FastAPI 开发后端,实现摄像头管理、分级报警、RBAC 权限、审计日志、报表导出等 REST API,通过 SQLAlchemy 访问 SQLite,支撑 GMP 合规要求。
AI 检测服务
参与本地 YOLOv8 推理服务的开发与优化,对接 16 路 HLS/RTSP 视频流,实现口罩、护目镜、手套、防护服等 PPE 目标检测。
视频流子系统
基于 FFmpeg + ZLMediaKit 搭建视频流子系统,实现海康 NVR 多码流转 HLS、多路并发预览与 AI 推理取帧。
平台集成与实时通知
参与海康 AIOP 报警接入与本地推理方案切换,实现报警去重、截图存档、洁净等级映射,通过 WebSocket 向前端实时推送告警。
前端大屏
参与 Vue 3 + Electron 前端开发,实现监控大屏、实时报警推送与 HLS.js 多路播放;安全合规模块包含 JWT 鉴权、AES-256 加密、面部脱敏与操作审计追踪。
技术栈
- 后端:Python、FastAPI、SQLAlchemy、SQLite
- AI:YOLOv8、OpenCV、PyTorch
- 视频:FFmpeg、ZLMediaKit、HLS/RTSP、海康 SDK
- 前端:Vue 3、Pinia、Electron、WebSocket、HLS.js
成果
- 单路视频告警响应 ≤3 秒,PPE 检测准确率 ≥95%
- 使用 PyInstaller 完成打包部署与现场联调,编写 Windows 生产环境运维文档
技术栈
PythonFastAPISQLAlchemyYOLOv8OpenCVPyTorchHLS/RTSP海康 SDKVue 3PiniaElectronWebSocketSQLiteffmpeg