AI数据采集策略设计

数据需求分析

• 任务目标与数据形态
  • 构建中文民商事法律检索问答数据集（研究级），用于训练与评估RAG召回与重排序。
  • 数据单元：问-段-答三元组；每问关联10个候选段（1正、9负）。正段需标注证据句与引用条款。
  • 规模：8万问答组；证据句标注覆盖率≥95%。
• 场景与主题范围（高频民商事）
  • 合同（订立效力、违约责任、解除/变更、格式条款）
  • 债权债务（借贷、担保/保证、利率、逾期、抵销）
  • 物权（所有权、共有、抵押、质押、占有返还）
  • 人格权与侵权（名誉、隐私、网络侵权、产品责任、医疗损害）
  • 劳动与用工（入职/辞退、加班工资、竞业限制、工伤）
  • 婚姻家庭与继承（共同财产、彩礼、离婚协议效力、遗嘱继承）
  • 商事与公司（股东权利、出资、利润分配、股权转让、公司担保）
  • 知识产权（著作权、商标、专利民事纠纷）
  • 诉讼时效与程序（时效起算/中断/延长、管辖、送达）
• 覆盖的复杂性维度
  • 同义/近义提问：口语化、书面化、规范术语与民间表达互转
  • 跨条款引用：主条+配套司法解释+指导性案例要旨
  • 时效差异：新旧法/司法解释版本差异、时点适用
  • 地域适用：地方性法规/司法政策差异、管辖与区域规定
• 数据来源与合法合规前提
  • 公开法律法规与司法解释：全国人大法律法规数据库、最高法/最高检公告、各省市人大/司法厅官网
  • 公开判决书与指导性案例：经授权的法律数据库（如法信、北大法宝、无讼Open、裁判文书公开渠道在合规范围内），遵守访问条款与robots规范
  • 普法文章：司法部、法院/检察院、政府官网发布的普法材料
  • 脱敏咨询摘要：与持牌平台签约获取、或自有渠道；确保用户授权与深度去标识化
• 数据结构与元数据规范
  • question_id、question_text、question_type（主题+意图）、region/applicable_area、time_context（事件发生时间/法版本）
  • answer_text（规范化结论+条件）、cited_articles[{law_name, article, clause, issuer, effective_date, version_id}]
  • passages[10]：text、is_positive、source_type（statute/judgment/popularization/consultation）、doc_id、publish_date、region、law_version_id、hard_negative_type（semantic/time/regional/clause）
  • evidence_sentences：正段内句级索引与字符span，支持多句；support_level（strict/partial）
  • 审核字段：annotator_id、reviewer_id、adjudication_status、IAA_batch_id
• 数据分配与拆分
  • 主题均衡分布（每主题≥8%占比，防止数据偏斜）
  • 训练/验证/测试：70%/15%/15%，按案件与法规来源分层抽样，防止文档泄漏
  • 难度标注：基础/中等/困难（含跨条款、近似误导、时效/地域冲突）

采集方法设计

• 数据获取渠道与策略（合规优先）
  1. 法律法规与司法解释
     • 来源：全国人大法律法规数据库、最高法公报、各省人大官网、司法部/司法厅官网
     • 方式：API/批量下载（如提供）、HTML抓取须遵守robots与版权声明；保留来源链接与版本信息
     • 标准化：解析法典层级（编/章/节/条/款/项/目）、生效/废止时间、修订历史；生成version_id与有效期区间
  2. 判决书与案例
     • 来源：经授权的商用数据库（法信/北大法宝/无讼等）或公开平台允许的范围
     • 方式：使用平台提供的导出/API；避免绕过登录、验证码等技术保护
     • 清洗：去重（标题+案号+法院+日期指纹）、结构化（案由、争议焦点、裁判要旨、法律依据）
  3. 普法文章
     • 来源：政府/法院/检察院官方站点与微信公众号文章（仅官方），保留出处
     • 清洗：去除宣传性语句、保留规范性解释与示例；标注文体为popularization
  4. 脱敏咨询摘要
     • 来源：签约平台或自有数据；获取书面授权与数据使用协议
     • 去标识化：脱敏姓名、电话、地址、证件号、车牌、账号、具体公司名等；保留案件事实要素（时间、金额区间、关系类型）以便法律适用
• 文档处理与段落构造
  • 文本抽取：PDF/HTML转文本（优先结构化源）；OCR仅用于扫描件，双通道校对（通用OCR+法律专用词典）
  • 分段策略：基于语义/结构的段落切分，目标每段200–500字；法条按条/款为段；判决按“争议焦点/裁判要点”优先
  • 规范化：繁简转换统一为简体，统一标点与全角半角；日期与金额标准化（YYYY-MM-DD、范围化金额）
• 问题与答案生成
  • 问题来源：从判决“争议焦点”、普法“常见问答”、咨询摘要“核心提问”抽取基问。
  • 同义化生成：术语替换（担保/保证、欠款/借款）、口语化转写、书面化规范；LLM辅助生成后由法律审核员100%复核。
  • 跨条款与版本：为每问明确时间上下文与地域适用，自动匹配当时有效法条与可能的旧条；收集配套司法解释/指导案例要旨形成引用链。
  • 答案生成：基于正段与引用条款生成“结论+条件+例外”的规范化短答（150–300字），避免个案建议语气；人工审核确保与证据句一致。
• 候选段检索与硬负样本生成
  • 初检索：BM25（ElasticSearch）+多语义向量（BGE/SimCSE中文法律领域微调）混合召回，Top50候选
  • 正段选择：包含明确适用结论的段落；要求至少1句可直接支持答案
  • 负样本构造（9条/问，优先“难负样本”）
    • 语义近似负：高相似但结论不同或条件不同
    • 条款混淆负：同法不同条/款，措辞相近但适用要件不符
    • 版本时效负：旧法/旧解释与新法冲突（明确标注version_mismatch）
    • 地域适用负：他省/市地方性规定与题目地域不符
    • 程序/实体错位负：程序性条款回应实体问题
    • 普法泛化负：普法段落未提供可验证的规范结论
  • 近似段：在正段所在文档中选取与证据句相邻但不包含关键要件的段落，构成“近似但不支持”的困难负

质量控制策略

• 验收指标
  • 证据句覆盖率≥95%（正段中至少1句标注为支持句）
  • 引用条款准确率≥97%（法名、条、款、版本完整）
  • 负样本“困难度”占比≥70%（基于相似度阈值与人工评估）
  • IAA（双标注一致性）Cohen’s kappa≥0.80（证据句与条款选择）
• 自动校验
  • 法规版本一致性检查：question.time_context与cited_articles.effective_date是否匹配；冲突自动告警
  • 地域一致性检查：question.region与passage.region/地方性法规来源匹配
  • 文本质量：乱码/OCR错误率检测（语言模型困惑度、术语词典比对），错误段落自动回流修复
  • 去重：问、答、正段三元组语义哈希；防止轻微改写重复
• 人工质检
  • 双人标注+仲裁：每条三元组由两名标注员独立完成，冲突由资深法律审核员仲裁
  • 抽检与回归测试：每批次10%抽检，缺陷类型（条款错引、支持句错位、负样本过易）复盘与指南更新
  • 主题均衡监控：仪表盘监控主题分布，自动补采偏少主题
• 安全与隐私
  • PII检测器：规则（身份证、手机号、银行卡、地址模式）+模型（中文PII分类器）双通道，命中即脱敏或剔除
  • 敏感实体白名单/黑名单：公司名与自然人名分类处理；自然人名一律遮蔽，公司名按合规保留/泛化
  • 访问与日志：数据访问分级、操作审计、导出白名单；原始数据与清洗数据分库隔离

标注流程规范

• 角色分工
  • 初标注员（法律背景）：选正段、标证据句、初步条款引用、生成答案
  • 复核员（资深法务）：复核证据句与条款、校正答案、确认负样本困难度
  • 质控专员：一致性评估、抽检与错误回流
• 标注准则
  • 证据句（sentence-level）
    • 至少1句直接支持答案核心结论；可标注2–3句覆盖要件与例外
    • 句粒度：以中文句号/分号/项序为边界；必要时使用子句span
    • 支持等级：strict（直接命题）、partial（需与其他句合并方成立）；strict占比≥80%
  • 引用条款
    • 主条款必标；涉及司法解释或指导性案例的，要补充二级引用
    • 记录版本信息（effective_date、issuer、version_id）；旧法引用需说明“历史版本”
  • 答案撰写
    • 模板：结论（是/否+条件）+法律依据（条款简述）+注意事项（时效/地域/例外）
    • 禁止个案建议与推断事实；语言规范、避免口语评价
  • 负样本确认
    • 标注hard_negative_type；确保与问题高相关但不支持答案
    • 近似段需说明“缺失要件/地域不符/版本不符”等原因
• 工具与数据格式
  • 工具：Label Studio/Doccano（句级span+多标签支持）、内嵌法规版本面板
  • 输出格式：JSONL，每条含question、answer、passages[10]、evidence_spans、cited_articles、metadata
  • 追踪字段：annotator_id、reviewer_id、revision_history、quality_flags
• 流程与SOP
  1. 机器候选生成（Top50）→ 初标选正段+标证据句+答复草案 → 复核调整 → 负样本确认 → 质检抽检 → 入库
  2. 冲突仲裁：两人标注不一致时，复核员在48小时内裁决并记录原因标签
  3. 回流与迭代：缺陷类型每周汇总，更新标注手册与负样本生成规则

实施时间规划

• 人员与产能假设
  • 标注团队：30名（含20初标、8复核、2质控），法律背景优先
  • 有效工时：6小时/日/人；平均每问全流程约6分钟
  • 日产能：约30×6小时×10问/小时≈1,800问/日（含复核并行）
• 时间线（12–14周）
  1. 周1–2：需求细化、主题taxonomy确定、合规审查与数据源签约；搭建抓取/解析流水线与索引
  2. 周3–4：语料清洗、段落切分、法规版本库构建；召回与重排序初版（BM25+向量）
  3. 周5–10：批量生成与标注（滚动迭代），每周小结与手册更新；达成证据句覆盖≥90%
  4. 周8–11：难负样本加强、跨条款与时效/地域样本补齐；覆盖提升至≥95%
  5. 周11–12：全面质检、IAA评估、错误回流、数据分层拆分（train/dev/test）
  6. 周13–14：最终验收与文档发布，留出缓冲处理合规与撤稿项
• 里程碑与验收
  • M1（周4）：索引可用，法规版本库上线
  • M2（周8）：完成4万问，证据句覆盖≥90%，IAA≥0.75
  • M3（周12）：完成8万问，证据句覆盖≥95%，IAA≥0.80，负样本困难度达标
  • M4（周14）：数据卡、数据字典、变更日志与合规报告交付

风险评估与应对

• 法律与合规风险
  • 版权/许可：判决书与商用数据库版权不明时，停止采集；仅使用授权接口与允许范围；保留协议与访问日志
  • 隐私泄露：咨询摘要必须有用户授权与去标识化；自动+人工双重PII审查；敏感命中即剔除
  • 机器人与访问限制：严格遵守robots.txt与站点条款；设置合理频率与缓存；拒绝绕过技术保护
• 数据质量风险
  • 法规版本错配：建立版本库与时间匹配器；发现错配自动告警与回流
  • 错引/误引：引用工具内置法条检索与校验；抽检纠错与黑榜机制（高错误率标注员暂缓）
  • 负样本过易：相似度阈值动态调参；人工校准困难度分布；引入跨版本/地域混淆样本
• 偏差与覆盖风险
  • 主题偏斜：仪表盘监控+欠采主题定向补充（劳动、知识产权等）
  • 文体偏差：确保四来源比例均衡，避免判决风格压倒性占比
• 工程与进度风险
  • OCR/解析失败：优先结构化源；对难件建立人工处理通道
  • 产能不足：增补外包标注员（合规培训）、延长工作日或延长周期
• LLM使用风险
  • 同义问生成与答案草案需100%人工审核，禁止直接入库；建立“机器建议”标记与责任边界
  • 防止模型幻觉：答案必须有证据句支撑与条款引用，否则不合格

以上方案针对中文民商事高频问题的RAG训练需求，覆盖数据来源合规、候选段严格构造、证据与条款精确标注、难负样本生成与全面质控，确保达到研究级质量与规模目标。

数据需求分析

• 任务与标签层级
  • 单位：评论为基本样本单元，句子为极性标注单元；评论内对每个方面-观点表达抽取三元组。
  • 标签：
    • 句级极性：Positive / Negative / Neutral（混合句按主导极性标注；无法判定则Neutral）
    • 三元组：<Aspect_term_or_category, Opinion_expression_span, Sentiment_polarity>
    • 辅助标记：Negation（含否定触发词及作用域）、Sarcasm（讽刺/反语）、Code-switch（跨语种混杂）
  • 词表映射：品牌与品类映射到统一知识库ID（如 Wikidata QID、GS1 GPC/Google Product Taxonomy 节点）
• 语种与规模
  • 总量：200,000 条评论，中文/英文/西语三语。
  • 建议语种配比（可在±5%内调整以满足类目覆盖）：EN 80,000；ZH 70,000；ES 50,000。
• 长短比例与长度定义
  • 目标：短:长 = 8:2。
  • 阈值（用于采样与质检，不做强规范化）：
    • EN/ES：短 ≤ 30 词；长 > 30 词
    • ZH：短 ≤ 60 字；长 > 60 字
• 来源与域外迁移
  • 渠道配比：电商平台评论约 70%（结构化、含品牌/类目信息），社媒短评约 30%（更强口语化与噪声，利于域外迁移）。
  • 预留专用域外测试集（约10,000条，三语均衡，社媒占比高）用于迁移评估。
• 类目覆盖
  • 覆盖前50个电商核心品类；每类建议≥2,000 条评论，Top10 热门类目适度增采至 5,000–6,000 条；跨语种均衡。
  • 类目体系：以 Google Product Taxonomy/GS1 GPC 为主干，建立三语对齐映射。
• 讽刺样本
  • 目标：5%（10,000 条），按语种与渠道比例分层采样与定向召回。
• 质量等级
  • 标准级：双标注+抽检仲裁；Cohen’s kappa ≥ 0.70（句极性），≥ 0.65（三元组是否一致）；覆盖度、长度分布和类目配额达标。
• 数据发布与训练支持
  • 支持增量训练：版本化快照（v0.1、v0.2…），每版新增10–30k；保留审计与变更日志。
  • 支持跨域评估：单独维护 OOD 测试集与时间切片测试集。

采集方法设计

• 合规数据来源与获取策略（仅使用合规渠道，遵守各平台ToS与隐私法规）
  • 电商平台评论
    • 授权与合作：与平台或合规数据服务商签约获取评论与元数据（品牌、品类、上架信息）。
    • 开放数据集：Multilingual Amazon Reviews Corpus (MARC)、Amazon Reviews (AWS Open Data) 等作为冷启动与补充（注意不同数据集许可条款）。
  • 社媒短评（公开可访问、经官方API或签约）
    • X/Twitter API（含Academic/Enterprise）基于关键词、品牌/类目、话题标签检索；遵守内容再分发规则（必要时仅存储ID与特征向量，内部再水合）。
    • Reddit API（产品相关子版块）、YouTube Data API（测评视频评论），地区与语言过滤。
    • 中文社媒：通过官方开放接口或经授权数据提供方（遵守平台ToS），按话题与品牌检索。
• 采样与召回策略
  • 分层配额：按语种×渠道（平台/社媒）×类目三维分层，动态监控配额完成度。
  • 长度控制：抓取后按阈值打标长短，欠配方向定向增采。
  • 讽刺定向召回：
    • 英文：#sarcasm、#irony、“yeah right”“as if”“great…” + 🙄/🙃 等表情
    • 西语：#sarcasmo #ironía，“sí claro”“qué bien…”反讽上下文
    • 中文：“真香”（按上下文判定）、“呵呵”“笑死”“狗头/🤡/🙂”、引号反语等
    • 设计正负种子词结合情境共现规则与弱监督模型预筛。
  • 口语化与拼写变体保留：采集保留原文，不进行拼写纠正；仅做轻清洗（不可见字符；统一换行编码）。
  • 品牌与品类覆盖：
    • 品牌词典：Wikidata 品牌实体 + GS1/OPD/企业白名单，含别名、音译、大小写/空格/符号变体。
    • 类目：从平台分类/Google Taxonomy抽取50类，手工审校三语映射。
  • 域外迁移支持：社媒与非头部平台、冷门品牌、跨地区方言/俚语样本定额≥15%。
• 处理与存储流水线
  • 合规模块：ToS校验、采集来源登记、许可证元数据。
  • 语言与编码识别：fastText LID + 规则修正（检测中英/英西混杂）；
  • 去重：URL/商品ID维度硬去重 + 文本MinHash（Jaccard 0.85阈值）近重复清理。
  • 句子切分：多语句子边界器（考虑中文无空格、Emoji与URL）；保留字符偏移。
  • 轻匿名化：移除手机号/邮箱/订单号/地理精确坐标等PII；品牌/品名白名单保护不过滤。
  • 数据结构（JSONL建议）：
    • id, lang, source, timestamp, product_id(optional), category_id, brand_id
    • text_raw, text_lightclean, length_class, code_switch_flag
    • pretag: brand_hits[], category_candidates[], sarcasm_candidate(bool), negation_cues[]
    • ann: sentences[], sentence_polarity[], triplets[ {aspect_span, aspect_cat_id, opinion_span, polarity, negation_scope[], sarcasm_flag} ]
    • legal: license, tos_ref, user_id_hash(optional), pii_check_pass

质量控制策略

• 自动化质检
  • 语言一致性：采样≥98%语种判定正确；混杂样本单独标识，不强行剔除。
  • 长短配额：每日/每周仪表盘监控，偏差>2个百分点自动触发增采。
  • 去重率：总体重复率<1%；近重复报警清单复核。
  • 品牌/类目覆盖：按三语统计Top-N品牌/类目分布，低于阈值自动提示采样器。
  • 讽刺占比：保持在5%±0.5%，不足则扩大定向召回规则。
• 标注一致性
  • 预标金集：每语种各500条跨类目多现象样本作为培训与日检集。
  • IAA（每周）：句极性 Cohen’s kappa ≥0.70；三元组“严格匹配”（span±2字符、极性一致）≥0.65；若未达标，组织共识会与指引修订。
  • 重点难例二次审校：含讽刺/否定/多方面/跨语种混杂样本，抽样20%仲裁。
• 规则与模型联动
  • 弱监督预标：否定触发词表（en: not/no/never/without; es: no/nunca/jamás; zh: 不/没/无/非）、反语标记词+表情清单；作为标注建议，不做硬约束。
  • 品牌/类目映射校验：词表匹配 + 模糊匹配（Levenshtein ≤2）+ Wikidata同义对齐，人工复核异常对齐。
• 数据安全与合规
  • PII检测：NER（人名/地名/地址/邮箱/电话/订单号样式）+正则；人工抽检1%。
  • 访问控制：分环境权限，原文与标注分层访问；日志留存与溯源。

标注流程规范

• 人员与工具
  • 工具：支持多层标注与span偏移（如 Label Studio/LightTag/Prodigy）；内置词表联想与QA检查。
  • 角色：标注员A/B双人独立标注；质检员C仲裁；语言专家每周复盘。
• 步骤与准则
  1. 句子极性
     • 单句单标签：Positive/Negative/Neutral。出现正负并存，取主导情感（依据语义强度与篇幅）。
     • 否定：若否定改变极性，按反转后极性标注，并记录negation_cues与scope。
     • 讽刺：若字面与语境矛盾，以语境真实极性为准，sarcasm_flag=True。
  2. 三元组抽取
     • Aspect_term_or_category：
       • 明示方面：产品属性词，如“电池”“做工”“物流”。
       • 隐式方面：无明确词但可归属品类常见方面（如“太贵了”→价格），此时填写aspect_cat_id并留空term或填抽象词位。
     • Opinion_expression_span：紧邻评价性词/短语（含表情符号、叠词、语气词）；保留原文与偏移。
     • Sentiment_polarity：与句极性可不同（句内不同方面可不同极性）。
     • 多三元组：同一句可有多个不同方面与观点。
     • 强度（可选）：-2/-1/0/+1/+2 用于后续加权训练（标准级可选做）。
  3. 否定与作用域
     • 标注否定触发词与影响的opinion/方面范围；多重否定按语义解析后确定最终极性。
  4. 讽刺判定
     • 以语境为准：夸张、反语、引号反讽、与事实对比、表情/话题提示；若无足够证据则不标讽刺。
  5. 品牌/品类映射
     • 先从文本匹配品牌/品类词表，若存在同名/歧义，结合商品元数据或上文上下文判定；无法确定则标UNK并记录候选。
  6. 口语化与拼写
     • 保留全部变体（如“amazzzing”“不咋地”“buenísimoooo”）；不做纠错，必要时在注释栏说明含义。
• 质量控制节点
  • 日常抽检：每人每日5%样本复核；错因分类（指南不清/疲劳/语言难点）闭环改进。
  • 复杂样本库：讽刺/否定/多方面/俚语样本沉淀为训练题，周更。

实施时间规划

• 周期与里程碑（约12–14周）
  • 第1–2周：需求冻结与资源准备
    • 确认50类目清单与三语映射；签约数据源/供应商；工具与词表初始化；金标准集构建（各语种500条）。
  • 第3–4周：试采与试标
    • 试采各渠道各语种各≥5,000条；指引培训与迭代；IAA达标后规模化推进。
  • 第5–10周：规模化采集与标注
    • 按配额滚动采样与标注；每周产出20–30k条；自动化质检+抽检仲裁；讽刺/类目/长度配额动态纠偏。
  • 第11周：补齐与平衡
    • 针对短板类目/语种/讽刺占比定向补采；完善品牌别名与长尾覆盖。
  • 第12周：终检与交付
    • 全量一致性与覆盖度审计；生成数据卡与数据词典；交付v1.0。
  • 第13–14周（可选）：v1.1增量包与OOD测试集扩充。
• 人力与产能（标准质量估算）
  • 标注效率（80%短、20%长；含三元组）：短60条/时，长30条/时。
  • 工时：短160k/60≈2,667小时；长40k/30≈1,333小时；质检与仲裁20%≈800小时；合计≈4,800小时。
  • 团队配置：20名标注员+3名质检+1名语言专家，周产能≈600小时，8周可完成主体标注。

风险评估与应对

• 合规与版权
  • 风险：平台ToS限制、再分发限制、PII泄露。
  • 应对：仅使用官方API/签约数据；必要时只存储内容ID+注释、内部再水合；严格PII脱敏与访问控制；保留许可与溯源记录。
• 分布与覆盖偏差
  • 风险：热门类目与头部品牌过度代表；讽刺/长文本不足。
  • 应对：分层配额+仪表盘预警；定向召回与配额锁定；对长文本与讽刺样本设置独立采样通道。
• 语言与口语噪声
  • 风险：拼写变体、表情、方言造成标注不一致。
  • 应对：扩充多语俚语/表情释义表；跨语培训与难例库；允许注释解释，不做强规范化。
• 三元组粒度不一致
  • 风险：方面粒度参差（属性 vs 品类级）。
  • 应对：提供方面层级表与判定优先级（优先属性，其次品类）；严格span与类别校验规则。
• 讽刺与否定歧义
  • 风险：IAA降低。
  • 应对：提供多语言讽刺典型模式库；强制困难样本二次审；定期共识会修订指南。
• 去重与泄漏
  • 风险：同一评论跨渠道重复；训练-测试穿越。
  • 应对：多键合并与MinHash去重；按时间与渠道分层切分，冻结测试集。
• 增量与版本漂移
  • 风险：后续增量分布偏移影响模型稳定。
  • 应对：版本化数据卡；保持核心配额不变；提供时间切片评估集与漂移监控。

附：交付物清单

• 规范文档：标注指南（多语）、方面层级表与品牌词表（含别名）、否定/讽刺触发词清单。
• 数据资产：JSONL全量标注数据、数据卡（来源/配额/质量指标/已知偏差）、覆盖度报告与IAA报告、版本变更日志。
• 工具与脚本：采集与清洗脚本、去重与语言检测、质量仪表盘、数据验证Schema。