项目概述

目标：建设面向4条生产线的视觉质检系统，支持表面瑕疵实时检测与分级，满足单帧端到端时延<80ms（p95），误检率<2%，召回率>95%。系统需支持边缘端部署、持续训练（MLOps闭环），打通MES/仓储系统并输出可审计报告。

范围：

• 视觉采集与实时推理：相机、光源、边缘GPU设备，低延迟图像处理、模型推理与后处理
• 缺陷识别与分级：检测/分割与严重度分级策略，阈值与业务规则可配置
• 工业系统集成：与MES/仓储系统的数据接口、事件流和入库策略
• MLOps闭环：数据采集与筛选、标注与版本化、训练与评估、模型注册与灰度发布、在线监控与漂移检测
• 合规与审计：全链路可追溯记录与报告输出（批次/工单/设备维度）

技术栈：Python, PyTorch, ONNX, TensorRT, Triton Inference Server, OpenCV, Kafka, Redis, Prometheus（可选：DVC/MLflow/MinIO/PostgreSQL，用于数据/模型/元数据管理）

团队（10–20人建议分工）

• 计算机视觉/模型组：4–6人
• 系统与边缘工程组：4–6人
• 数据与MLOps组：3–4人
• 集成与QA组：3–4人
• 项目与产品：1–2人

里程碑总览

详细阶段规划

M1（第1个月）：需求分析与架构设计

任务：

• 业务与指标冻结：与工艺/质检确认缺陷类别清单、分级规则、工单/批次关联要求；定义指标口径（召回、误检、p95延迟）与采样方法
• 现场评估与硬件选型测试：相机分辨率/帧率、镜头与光源方案（漫反射/同轴/线扫），边缘GPU（评估2–3款，如NVIDIA Orin/RTX A系列）；采集10–20个批次样本数据，覆盖4线差异
• 系统架构与数据流：边缘采集→预处理→Triton推理→后处理→事件写入Kafka→Redis缓存→MES/WMS对接→对象存储（原图/裁剪/结果）→Prometheus监控
• 数据与标注规范：定义缺陷类型与边界框/掩码规范、分级标签、文件命名与元数据（工单/批次/设备ID/时间戳）
• 开发环境与代码规范：Python编码规范、容器化基础镜像、CI基础流程、依赖管理

交付：

• 需求说明书（含指标与验收方法）
• 系统与MLOps架构图、接口清单（Kafka主题、Redis键空间、MES/WMS API协议）
• 硬件选型与评估报告（含延迟预算、成本/功耗/散热）
• 标注指南与数据字典
• 初始数据集采集计划（按线/班/工艺场景分层采样）

M2（第2个月）：数据与基线模型、管线PoC

任务：

• 数据采集与标注v1：建立标注流水线（质检专家复核），完成覆盖主缺陷≥80%的数据集；弱样本/边缘场景标注优先
• 训练基线模型：选择适配实时的检测/分割架构（轻量化Backbone+多尺度），训练v0，离线评估达到召回≥85%、误检≤8%
• 预处理与后处理PoC：OpenCV实现统一预处理（畸变校正、均值化、ROI裁剪），后处理规则与NMS/置信度阈值初版
• 数据管线与缓存：搭建Kafka主题（raw_frame、detection_event、audit_log），Redis用于短期会话/窗口统计，定义消息Schema
• 训练环境与MLOps设计：数据版本化（DVC或Git-LFS+元数据表）、模型评估脚本、模型注册方案（可用轻量自建登记+存储），闭环流程蓝图

交付：

• 标注数据集v1（分训练/验证/测试、含版本元数据）
• 基线模型v0（PyTorch权重、评估报告）
• 预/后处理模块PoC（性能与准确性报告）
• Kafka/Redis管线PoC与消息Schema文档
• MLOps闭环方案设计文档

M3（第3个月）：性能提升与部署化

任务：

• 模型提升：难例挖掘/数据增强（光照/噪声/尺度）、Loss与Anchor策略微调，离线召回≥92%、误检≤5%
• 导出与优化：ONNX导出（动态/静态输入策略），TensorRT FP16/INT8校准（代表性校准集），评估精度损失≤1pp
• Triton部署PoC：在边缘/开发机上搭建Triton服务，配置模型版本与并发策略（batch=1，异步流），初版端到端延迟≤120ms（开发机）
• 延迟预算细化：采集≤10ms、预处理≤15ms、推理≤40ms、后处理≤15ms、I/O与事件≤10ms；逐项剖析瓶颈与优化路径（GPU/CPU分配、零拷贝）
• 监控与日志：Prometheus指标定义（延迟p50/p95、吞吐、错误率、召回近似指标）、审计日志字段与落库方案（对象存储+元数据表）

交付：

• 优化模型v1（PyTorch+ONNX+TensorRT引擎）
• Triton服务配置与部署手册（模型仓库结构、版本策略）
• 端到端性能报告v1（分模块延迟与p95）
• 监控与审计方案文档与PoC

M4（第4个月）：边缘实时达标与单线试点

任务：

• 边缘优化达标：针对目标硬件完成预处理GPU化（CUDA/OpenCV G-API）、内存管理（Pinned/Zero-copy）、线程模型与亲和性调优，p95端到端<80ms
• 后处理与分级策略固化：严/中/轻分级规则（与业务门限联动），阈值自适应（按光照/批次校正）机制
• 单线试点部署：在1条产线全链路上线（采集→推理→事件→MES），1–2周稳定运行；建立回传样本选择策略（误检/漏检高风险样本自动回传）
• 在线指标监控：Prometheus报警（延迟、事件率、错误率），可视化面板；审计报表v1（批次/工单维度缺陷分布与处置）
• 集成测试与回归：MES/WMS接口兼容性测试、异常工况（停线/重启/网络波动）演练

交付：

• 边缘部署v1（容器镜像、配置与启动脚本）
• 单线试点运行报告（延迟、准确性、稳定性）
• 分级策略文档与配置文件
• 审计报表v1与监控面板

M5（第5个月）：双线试运行与MLOps闭环

任务：

• 扩展至2线：跨线差异调优（光照/速度/材质），目标线上指标：召回≥95%、误检≤3%，持续一周稳定
• 闭环训练管线v1：数据入湖（对象存储，如MinIO）+元数据（PostgreSQL），自动采集样本（规则与主动学习队列），半自动标注流程与审计
• 重训练与评估门禁：周期性训练（每周或双周），评估门槛（离线召回≥96%、误检≤2.5%、关键缺陷类别召回≥97%）；模型注册与灰度发布（Triton并行版本、按线或时段灰度）
• 可靠性工程：看门狗、断点续传、边缘健康检查与自愈策略；离线回退包与切换流程
• 报告与接口完善：审计报告v2（趋势分析、根因提示）、MES事件对账与数据一致性检查

交付：

• 双线试运行评估报告（指标达成与问题清单）
• 闭环训练管线v1（脚本/调度/存储/注册）
• 灰度发布与回滚流程文档
• 审计报告v2与一致性测试报告

M6（第6个月）：四线全面上线与验收

任务：

• 四线部署与调优：完成剩余2线上线与差异化参数配置（光照、阈值、ROI），一周联合稳定性测试
• 指标达标与验收：线上实测召回≥95%、误检≤2%、端到端p95<80ms；生产故障演练（网络/设备/服务异常）与恢复验证
• 运维与SLA：巡检与报警策略、应急手册、备件与版本管理、容量规划（事件流/存储）
• 安全与合规：访问控制、数据留存策略（周期/匿名化要求）、审计与合规清单
• 项目收尾：文档齐套、培训与交接、后续迭代路线图

交付：

• 生产运行v1.0（4线）
• 验收测试报告（性能/准确性/稳定性/恢复）
• 运维手册、SLA与安全合规文档
• 项目总结与改进计划

风险评估

主要技术风险与应对：

• 数据与场景覆盖不足：不同产线/批次/光照导致召回下降
  • 应对：分层采样计划与现场巡检；主动学习队列收集误检/漏检样本；类别不均衡处理（重采样/损失加权）；标注双人复核
• 延迟超标（<80ms）：预处理与I/O成为瓶颈
  • 应对：GPU化预处理、批量禁用（batch=1）、零拷贝管线、并行流水线（采集/推理/写事件分线程）、TensorRT INT8校准；必要时将关键路径改为C++扩展
• 量化精度损失：INT8导致召回下降
  • 应对：代表性校准集、分层阈值策略、保留FP16旁路用于关键缺陷；不同类别区分量化策略（敏感类别保留更高精度）
• 集成不确定性（MES/WMS接口变化或性能限制）
  • 应对：接口契约冻结与模拟环境；异步事件设计（Kafka缓冲）；重试与幂等性；对账与一致性校验
• 漂移与长期维护：原材料或工艺变化导致模型老化
  • 应对：Prometheus+统计检测（缺陷分布/置信度漂移）；定期重训；灰度验证门禁；版本化与可回滚
• 边缘可靠性与现场环境：温度/粉尘/震动影响设备
  • 应对：硬件散热与防尘评估；设备健康监控；备件计划；离线缓存与断点续传
• 安全与合规：数据外泄与审计缺失
  • 应对：访问控制与审计链路；数据脱敏与留存周期；最小权限与密钥管理

成功标准（里程碑验收标准）

• M1验收：

  • 指标与口径冻结：召回/误检/延迟定义明确
  • 架构与接口文档完成度≥90%，硬件评估报告包含性能与成本对比
  • 标注规范与数据字典发布，采集计划获现场确认

• M2验收：

  • 标注数据集v1：覆盖主要缺陷≥80%，测试集独立
  • 基线模型v0离线评估：召回≥85%、误检≤8%
  • Kafka/Redis管线PoC可稳定传输≥30分钟无丢包；消息Schema定稿

• M3验收：

  • 优化模型v1离线：召回≥92%、误检≤5%
  • ONNX/TensorRT引擎可用；Triton PoC端到端p95≤120ms（开发机）
  • 性能报告包含分模块延迟与优化建议；监控与审计PoC可采集核心指标

• M4验收：

  • 边缘端单线p95<80ms达标；一周稳定无重大故障
  • 分级策略落地并通过质检审核
  • 单线试点运行报告包含线上指标与问题闭环；MES接口通过集成测试

• M5验收：

  • 双线线上指标：召回≥95%、误检≤3%，稳定一周
  • 闭环训练管线可自动采样→标注→重训→评估→灰度发布，全流程跑通
  • 审计报告v2包含批次/工单维度统计与趋势分析

• M6验收：

  • 四线全面上线：召回≥95%、误检≤2%、端到端p95<80ms
  • 灾难恢复演练通过（回退与自愈）
  • 运维与SLA文档齐备，权限与合规检查通过
  • 项目总结与后续迭代路线图评审通过

优先级建议：

• 先确保数据与指标口径（M1），其次建立稳定的实时管线与离线模型（M2–M3），再攻坚边缘端延迟与业务集成（M4），最后闭环与规模化上线（M5–M6）。在任何里程碑，若线上召回低于目标，应优先投入数据采样与标注，而非仅靠模型微调。

时间与资源现实性声明：

• 6个月完成四线达标上线与闭环MLOps属于高复杂度项目的上限规划，依赖现场协作与硬件及时交付。计划中预留了试点与双线爬坡阶段，避免过于乐观的并行上线。若出现硬件或MES对接延迟，建议将M5–M6部分任务弹性顺延1–2周并保持单线达标优先。

项目概述

• 项目目标：构建并交付一个电商营销文案生成MVP，接入商品库与属性标签，自动生成多平台标题/卖点/长描述，支持A/B测试与风格模板；提供敏感词过滤与合规审查能力；首月覆盖100个SKU并形成用户反馈闭环。
• 范围边界：
  • 覆盖3类文案：平台标题、卖点要点（3-5条）、长描述。
  • 支持多平台差异化约束（长度、禁用词、格式）；不少于3个主流平台模板。
  • A/B测试：支持在系统内创建多版本文案、分流策略与指标采集（点击/采用率/人工评分）；不强制接入线上流量平台，允许通过导入外部指标或内部评审替代。
  • 合规：敏感词字典+规则引擎+基础分类器三级校验；人工复核兜底。
  • 技术栈：Python、HuggingFace、FastAPI、SQLite、Docker、Streamlit。
• 架构要点：
  • 数据层：SQLite（SKU、属性、平台规则、模板、文案版本、实验、反馈、审查日志）。
  • 服务层：FastAPI（生成/校验/实验/反馈API，OpenAPI文档）；批处理与异步队列（Python原生多进程/线程）。
  • 模型层：HuggingFace生成（基础指令模型+提示词工程；第4月起PEFT/LoRA小规模增量训练可选）。
  • 风格模板：基于Jinja2模板+平台约束校验器（长度、标点、禁用词、结构）。
  • 审查：词典+正则+规则引擎；轻量分类器（HF文本分类）作为二级风控；人工复审工具。
  • 前端：Streamlit运营台（导入SKU、配置模板、生成与编辑、实验管理、反馈与报表）。
  • 容器化：Docker（开发/测试/演示环境一致），CI/CD使用GitHub Actions（构建、测试、镜像）。

里程碑总览

详细阶段规划

M1（第1个月）：MVP雏形与首批100 SKU闭环

• 关键技术任务
  • 需求与范围固化：平台差异项（标题长度、禁词、标点规范）、文案结构、反馈标签（清晰度/吸引力/是否夸大/敏感）。
  • 数据建模与存储：SQLite表设计（sku、attributes、platform_rules、templates、copies、experiments、feedback、audit_logs），建立索引与外键约束。
  • 生成管线v0：HuggingFace小型指令模型接入（如Qwen2.5-1.5B-Instruct或等价体量，CPU可运行）；提示词模板化（Jinja2），平台长度硬截断与标点修复。
  • 敏感词过滤1.0：词典（内置广告法/医疗/绝对化用语等）+正则，命中则标注与替换建议。
  • 前端与API：FastAPI基础路由（/generate, /validate, /feedback），OpenAPI文档；Streamlit运营台v0（SKU导入CSV、单SKU生成与人工编辑、提交反馈）。
  • 容器化与环境：Dockerfile、docker-compose（API+UI+SQLite卷挂载），基础日志（结构化JSON）。
  • 运营闭环：收集至少100个SKU的人审反馈（评分+修改后文本+原因标签）。
• 交付物
  • 架构说明书与ER图、API规范（OpenAPI JSON）、部署脚本（Docker）。
  • 词典CSV与正则规则文档、提示词模板v0（通用+平台3套草稿）。
  • 运行日志样例与数据字典。
• 验证标准
  • 100个SKU生成完成；人工初审通过率≥85%；反馈入库率100%。
  • 单SKU三文案（标题/卖点/长描述）端到端P50≤15s（CPU）。

M2（第2个月）：多平台模板与A/B测试v1

• 关键技术任务
  • 平台规则引擎：长度校验、禁用词黑名单、结构校验（卖点数量、符号规范）。
  • 模板DSL：Jinja2模板+变量校验（空值回退）、风格控件（语气、促销力度、品牌/材质/人群优先级）。
  • A/B测试v1：实验与变体数据结构；随机/比例分流；内部指标采集（人工采用率、编辑次数、主观打分）；外部指标导入接口（CSV/JSON）。
  • 生成质量改进：平台特定提示词、few-shot示例库；去夸大规则（“全国第一”类词自动降级/拦截）。
  • UI增强：模板管理、实验管理、批量生成（100 SKU以内）。
• 交付物
  • 平台模板≥3套（含长度与符号断言）；A/B实验管理与报表v1。
  • 指标字典与埋点规范；质量对比周报模板。
• 验证标准
  • 每SKU可生成≥2个可用变体；模板校验自动拒绝率<10%（表示模板健全）。
  • 指标面板可查询实验采用率、编辑次数分布。

M3（第3个月）：合规与评测基线

• 关键技术任务
  • 敏感词2.0：词典扩充（行业/平台专项）；合规规则引擎（绝对化、医疗功效、涉政涉黄、侵权商标近似词），违规分级与处理策略（拦截/替换/人工复核）。
  • 分类器v1：HuggingFace文本分类轻量模型用于“风险文案”二级判定（阈值可配置，低召回优先零高危漏放）。
  • 评测基线：构建离线评测集（≥500条对齐SKU特征与平台约束）；指标体系（合规通过率、重复度、可读性人评、覆盖率、生成时长）。
  • 工程质量：CI/CD（GitHub Actions）、单元与集成测试覆盖≥60%、黑盒回归用例；数据迁移脚本。
  • 可靠性：失败重试、幂等键、批处理断点续跑；日志分级与审计轨迹。
• 交付物
  • 合规策略说明书、分类器评估报告（精确率/召回率/F1）。
  • 质量评测报表v1（与M1对比）。
• 验证标准
  • 自动合规拦截率≥95%；高风险0漏放（以评测集为准）。
  • 端到端回归测试全部通过；数据一致性校验通过。

M4（第4个月）：质量提升与个性化风格v2

• 关键技术任务
  • 提示词版本化：Prompt版本管理与灰度；few-shot库按品类与平台检索。
  • 小样本调优（可选）：基于累计的高分/采纳样本进行PEFT/LoRA微调（数千样本以内），对比实验评估收益；若无GPU，则进行提示词搜索与规则重排序替代。
  • 结果重排序与去重复：基于关键词覆盖率/长度适配度/可读性评分的加权打分；近重复检测（SimHash/Jaccard）。
  • 批量调度与队列：多进程/线程并发参数化；资源限流；任务优先级（热销SKU优先）。
  • UI与可用性：批量审核界面、快捷编辑与一键合规修复建议。
• 交付物
  • 质量提升报告（与M3对比：可用率、重复度、人工编辑时长）。
  • 批量任务调度与监控面板（队列长度、失败率）。
• 验证标准
  • 人工“可直接采用”比例较M1提升≥15个百分点。
  • 近重复率≤5%；大批量任务失败率≤1%。

M5（第5个月）：性能与可用性扩展

• 关键技术任务
  • 性能优化：分批生成、流式解码、缓存已知属性到片段库；CPU并发参数整定；提示词裁剪自动化。
  • 稳定性与安全：RBAC简单角色（运营/审核/管理员）、审计日志、输入校验与防注入；异常告警（生成失败率、拦截率异常）。
  • 规模评测：500–1000 SKU批量压测；长任务的超时与回退策略；冷启动优化。
  • 文档与运维：Runbook（常见故障与处理）、SLO定义（可用性/时延/合规）。
• 交付物
  • 压测报告、告警与仪表盘（Streamlit或轻量Grafana替代为表格/图表）。
  • 安全与权限配置说明。
• 验证标准
  • 单SKU三文案端到端P50≤10s（CPU基线），P95≤20s；批量1000 SKU在8小时内完成。
  • 可用性≥99%（工作时段），关键路径错误率≤1%。

M6（第6个月）：收尾、UAT与发布候选

• 关键技术任务
  • 全量回归与UAT：覆盖核心用例（多平台/实验/合规/批量）；数据备份与恢复演练。
  • 文档与交付：系统设计文档、API手册、模板与规则手册、用户使用手册、数据字典、变更日志。
  • 发布与回滚：版本清单、灰度方案、回滚预案与演练。
  • 路线图：后续功能池（多语言、平台API直连、在线实验接入）。
• 交付物
  • 发布候选版本（RC镜像与compose文件）、UAT报告、交付清单。
• 验证标准
  • UAT通过；SLO达标；合规抽检0高危；上线与回滚演练成功。

风险评估

• 模型质量不足（口吻生硬/信息缺漏）
  • 影响：人工编辑成本高、采用率低
  • 缓解：提示词few-shot分层、属性填充检查、品类特定模板；M4起基于反馈小样本微调或重排序打分器
• 合规漏放或误杀
  • 影响：平台处罚或产能下降
  • 缓解：词典+规则+分类器多级；高风险强制人工复核；阈值守 conservative；定期抽检与规则回归测试
• 数据质量（SKU属性缺失/不一致）
  • 影响：生成内容不完整或错误
  • 缓解：属性必填校验与回退策略（缺失→删除占位语）、异常SKU清单；批量导入校验报告
• 性能限制（无GPU环境）
  • 影响：时延升高、批量耗时长
  • 缓解：选用小模型或量化、并发与批量控制、缓存片段与模板渲染；必要时可切换更高配机器或临时GPU
• A/B测试无法接入线上指标
  • 影响：难以量化转化效果
  • 缓解：先以“人工采用率/编辑时长/主观评分”作为代理指标；支持外部指标离线导入；后续预留平台API接入
• 团队带宽与优先级变动
  • 影响：里程碑延期
  • 缓解：任务必选/可选拆分；每月冻结范围；周度检查与风险预警

成功标准（验收与可验证指标）

• M1
  • 覆盖100个SKU，三类文案均生成
  • 人工初审通过率≥85%，反馈入库率=100%
  • 单SKU端到端P50≤15s（CPU）
• M2
  • 至少3个平台模板上线；模板校验阻断不合规文案
  • A/B实验v1可用：每SKU≥2变体，能记录采用率与评分
• M3
  • 合规自动拦截率≥95%，高风险0漏放（基于离线评测集）
  • 测试覆盖率≥60%，回归用例全绿
• M4
  • 人工“直接可用”比例较M1提升≥15个百分点
  • 近重复率≤5%，批量任务失败率≤1%
• M5
  • 单SKU三文案P50≤10s、P95≤20s；1000 SKU批量≤8小时
  • 可用性≥99%（工作时段），关键路径错误率≤1%
• M6
  • UAT通过，无阻断级缺陷
  • 文档与运维材料齐备，发布与回滚演练成功

备注（实施约束与现实性声明）：

• 上述性能指标以CPU中小型模型为基线，若硬件更弱或文本显著加长，需按比例放宽；如具备单卡GPU（≥16GB），可将P50进一步压缩至3–6秒级。
• 微调（PEFT/LoRA）为可选项，前提是累计足量高质量标注样本；如样本不足，则以提示词优化与重排序替代，不影响主线里程碑达成。
• A/B测试以内部代理指标为主，线上转化需额外对接平台数据通道，不作为本MVP强制要求。