AI机器学习数据集推荐专家

推荐数据集清单

数据集1：WIPO-Parallel（专利平行语料，医学/生物医疗子集）

• 数据来源：WIPO Open Data（经 OPUS 整理发布）
• 数据规模：中英对齐总体为百万级；按医学相关 IPC 分类（如 A61* 医学/卫生、G16H 医疗信息学、C12N 生物技术）过滤后可得到数十万级句对（满足10万–50万规模需求，具体取决于过滤阈值）
• 主要特征：
  • 去标识化（公共专利文本）
  • 段/句级对齐；技术文本中保留剂量、单位、化学名、缩写等
  • 自带细粒度领域标签（IPC 分类码），便于领域分层抽样与标注
• 适用任务：中→英医学/临床机器翻译、术语保真与单位保真、术语约束翻译、领域自适应
• 获取方式：OPUS WIPO 页面 https://opus.nlpl.eu/WIPO.php （选择 zh-en）
• 使用建议：
  • 领域筛选：按 IPC 前缀 A61*、G16H、C12N 等提取医学相关，对齐到 10万–50万句对规模
  • 质量分：用 LaBSE/LASER 计算句对相似度，或用语言模型滤除异常长度比/字符比，得到 score 字段
  • 领域标签：保留专利的 IPC 作为 domain 字段；可细分为 drug, device, biotech 等
  • 术语与单位：采用术语词典（见数据集5）做术语对照与约束；用正则+UCUM 词典抽取/归一化单位并在 JSONL 中附加 units 字段
  • 否定/不确定：专利中较少出现临床否定表达，仍可用中文/英文否定触发词表与句法规则（NegBio 英文；中文可用 CHIP 系列公开资源训练断言分类器）离线标注 negation/uncertain 字段
  • 标准切分：按专利族/IPC 分层抽样切 train/dev/test，避免同族泄漏

数据集2：CCAligned zh-en（CommonCrawl 挖掘平行语料，医学站点切片）

• 数据来源：WMT/FAIR（CommonCrawl 挖掘），官方镜像
• 数据规模：zh-en 为百万级；按医疗/公共卫生站点白名单过滤（如 who.int、medlineplus.gov、cdc.gov、ema.europa.eu 的中文页面等）后可得数十万级句对
• 主要特征：
  • 去标识化（公开网站文本）
  • 句级对齐，附带挖掘/相似度分数（可作为质量分）
  • 可按来源域名作为领域标签（domain）
• 适用任务：医学/公共卫生方向中英机器翻译、领域自适应、术语保真
• 获取方式：https://data.statmt.org/cc-aligned/ （选择 zh-en）
• 使用建议：
  • 领域过滤：站点白名单（who.int、medlineplus.gov、cdc.gov、unicef.org/health 等中文频道），并可用页面路径关键词（covid, vaccine, symptom, diagnosis 等）二次筛选
  • 质量控制：使用提供的挖掘分数或重算 LaBSE，相似度阈值（如 ≥0.7）+长度比过滤去噪；去重与近重复检测
  • 元数据：将域名作为 domain，页面主题作 subdomain（如 guideline, leaflet, faq）
  • 否定与缩写：网页文本保留缩写较多；用缩写检测工具（英文 Ab3P / 快速规则）与否定识别规则离线补标
  • 标准切分：按站点与主题分层切分，保证 dev/test 覆盖多站点

数据集3：WikiMatrix en-zh（维基挖掘平行语料，医学主题切片）

• 数据来源：Facebook/FAIR LASER（Wikipedia 句对挖掘）
• 数据规模：en-zh 为百万级；按医学相关条目/分类（疾病、药物、解剖、检验项目）过滤后可达10万–30万级
• 主要特征：
  • 去标识化（百科条目）
  • 句级对齐并附带 LASER margin 分数（可直接作为质量分）
  • 涵盖大量标准化术语、缩写与单位表述
• 适用任务：医学科普/术语密集文本的中英机器翻译、术语对齐与约束翻译
• 获取方式：下载 en-zh 版本 https://dl.fbaipublicfiles.com/laser/WikiMatrix/v1/WikiMatrix.en-zh.tsv.gz
• 使用建议：
  • 主题过滤：用维基分类/模板（Medicine, Pharmacology, Anatomy, Signs and symptoms 等）或基于 MeSH/药品词表的标题匹配获取医学切片
  • 质量控制：使用提供的 margin 分数阈值（如 ≥1.06，视分布调优）+去重
  • 术语对照：用数据集5的词表构造术语表，做对齐校验与约束解码
  • JSONL 转换：包含 {id, zh, en, score=margin, domain="wikipedia-med", entities, negation}
  • 切分：按条目/主题分层切分，整段段落内保持句子相邻，便于段落级上下文翻译实验

数据集4：TICO-19 zh-en（COVID-19 域翻译记忆与术语表）

• 数据来源：TICO-19（多机构联合，面向公共卫生与疫情文本）
• 数据规模：句对为万级；同时提供跨语言术语表（COVID-19 相关）
• 主要特征：
  • 专业人工翻译，覆盖公告、指南、问答、症状与防护等，保留大量缩写与单位
  • 提供标准开发/测试切分，适合术语保真和域内泛化评测
  • 术语资源可直接用于约束翻译或术语一致性检查
• 适用任务：公共卫生/临床相关子域的中英机器翻译、术语/缩写保真评测、术语约束翻译
• 获取方式：OPUS 镜像 https://opus.nlpl.eu/TICO-19.php 或项目页 https://tico-19.github.io/
• 使用建议：
  • 用术语表构造 constrained decoding 词典与术语一致性评估脚本（term accuracy, preference）
  • 用作开发/测试集，训练主要来自数据集1–3；在训练集少量混入 TICO-19 做轻量域自适应
  • JSONL：保留文档/段落 ID，增加 domain="covid19"、source="TICO-19" 字段

数据集5：CMeKG/CMeSH（中文医学术语与 MeSH 对照资源）

• 数据来源：清华大学 KEG 实验室（开源知识图谱/词表）
• 数据规模：包含大量中文医学实体与同义词，映射到 MeSH 等标准标识及英文描述（规模为数十万级条目，随版本更新）
• 主要特征：
  • 提供中文→标准化概念→英文描述/同义词的术语对照
  • 覆盖疾病、药物、症状、检验检验项等，多用于实体标准化与术语一致性
  • 去标识化、研究许可友好（以仓库许可为准）
• 适用任务：机器翻译中的术语约束与后编辑校验、实体标注和归一化、术语误译检测
• 获取方式：项目仓库 https://github.com/THU-KEG/CMeKG （内含基于 MeSH 的中英对照资源与字典，具体路径随版本变化）
• 使用建议：
  • 从 CMeKG/CMeSH 导出 “中文术语 ↔ 英文首选术语/同义词 ↔ 标准 ID” 词典；对数据集1–4的中文侧进行实体匹配与归一化，写入 entities 与 term_map 字段
  • 结合 UCUM/常见剂量单位清单，构造单位白名单与正则模板，做单位/剂量规范性检查与后编辑
  • 在训练与解码阶段启用术语约束（lexically constrained decoding 或 soft constraints），降低术语误译率

总体建议

• 数据拼装与规模控制
  • 主训练集：WIPO-Parallel 医学子集（核心）+ CCAligned 医学站点切片 + WikiMatrix 医学主题切片，按质量分阈值与去重策略控制到 10万–50万句对。
  • 开发/测试：优先使用 TICO-19 的标准切分；另从 WIPO/WikiMatrix 按文档/条目分层抽样补充，避免来源泄漏。
• 统一 JSONL 架构（示例字段）
  • id, src_zh, tgt_en, score（LASER/LaBSE/挖掘分数）, domain（IPC/站点/主题）, subdomain, source（WIPO/CCAligned/WikiMatrix/TICO-19）, entities（[{span, type, cui/mesh, zh, en}]）, units（提取到的单位与数值）, negation（boolean 或 cue 列表）, uncertainty（boolean）, alignment_level（sentence/paragraph）。
• 去噪与质量标注
  • 质量分：对无内置分数的来源（如 WIPO）用 LaBSE 相似度+长度比过滤；对有分数的来源（CCAligned/WikiMatrix）直接保留为 score。
  • 严格去重与近重复检测（MinHash/SimHash），并过滤异常字符集与非医学域内容。
• 实体与术语对照
  • 采用 CMeKG/CMeSH 生成术语对照表；对中文侧进行实体识别与标准化（可先用匹配+规则，必要时训练中文医疗 NER，公开资源如 CHIP 系列可提供训练数据），将标准 ID 与建议英文术语写入 JSONL，训练/解码使用术语约束。
• 缩写与单位保真
  • 缩写：离线标注中英缩写（英文可用 Ab3P，中文以规则/词表为主），在约束表中为缩写与全称建立映射，解码时优先保持缩写原状或按上下文还原。
  • 单位/剂量：引入 UCUM/药典常用单位清单，做数值+单位一体校验，训练时加入 copy-bias（指数字符与单位的复制偏好）。
• 否定/不确定标注
  • 英文可用 NegBio/pyConTextNLP；中文可基于公开断言/否定词表与依存规则构建判别器（可参考 CHIP 挑战公开数据训练），将 negation/uncertainty 写入 JSONL 并在评测中统计保真率。
• 评测与诊断
  • 自动指标：BLEU/COMET + 术语准确率（term acc）+ 否定保真率 + 单位/数值保真率。
  • 人审抽样：重点抽查药名、剂量、检验指标与否定语句，建立误译清单反馈优化术语与规则。
• 许可合规
  • WIPO（按其开放专利数据条款）、CCAligned/WikiMatrix（遵循各自许可与来源网页条款）、TICO-19（遵循项目许可）、CMeKG/CMeSH（遵循仓库许可）。仅用于研究，并在发布模型或样例时遵循归属与再分发要求。

推荐数据集清单

数据集1：NLPCC 2019 古文-今译机器翻译共享任务（Ancient–Modern Chinese Translation, AMC）

• 数据来源：NLPCC（CCF-TCCI 共享任务）
• 数据规模：训练集规模为大规模平行句对（百万级），官方提供开发集与评测集（各为小规模标准划分）；句级对齐
• 主要特征：
  • 来源覆盖典籍、史书、散文等多体裁；古文原文多为断句与标点已恢复版本
  • 官方提供标准训练/开发/测试划分，适合基线与可比实验
  • 多数样本为句对级，无朝代或体裁标签（需后处理补充元数据）
• 适用任务：古文→今文机器翻译（MT）、句级翻译质量评测
• 获取方式：NLPCC 2019 共享任务页面（需注册/协议后下载）：http://tcci.ccf.org.cn/（进入 2019 共享任务 Ancient–Modern Chinese Translation）
• 使用建议：
  • 将官方平行 txt 转为 TSV/JSONL（字段建议：id, src_wenyan, tgt_modern, split, source）
  • 文本清洗：统一全/半角、去重、长度比过滤（古今文句长差异较大，可放宽至[0.3, 3.5]）
  • 朝代/体裁标签可通过样本来源标题与外部知识库（如 ctext 元数据）映射补充
  • 可作为主干训练集，后续用带体裁/朝代标签的数据进行多任务或领域自适应

数据集2：CCMT/CWMT 古文-今译翻译任务（历年：2020–2022）

• 数据来源：CCMT（中国机器翻译大会，CIPSC）
• 数据规模：训练集为大规模平行句对（通常>50万句对），含官方开发集与评测集；句级对齐
• 主要特征：
  • 延续多届评测，体裁覆盖较广，评测集持续更新，利于多年度可比实验
  • 官方标准划分；数据质量与难度更贴近学术评测
  • 原始数据不含朝代/体裁字段（需补充），以句级为主
• 适用任务：古文→今文机器翻译建模、跨届评测复现与对比
• 获取方式：CCMT 官方网站（历届任务与数据）：http://sc.cipsc.org.cn/mt/（进入对应年份的“古-今翻译”任务页，按要求申请）
• 使用建议：
  • 与 NLPCC 2019 数据互补使用，交叉验证泛化；将两者合并后去重
  • 以 CCMT 的开发/测试集作为主评测集，确保与文献结果可比
  • 混合体裁抽样建立领域自适应（历史纪传、碑刻、诗歌、散文）子模型或使用体裁标签作为控制信号

数据集3：AI Challenger 古文-今译翻译数据集（Ancient-Modern Chinese Translation, AI Challenger）

• 数据来源：AI Challenger（学术竞赛平台）
• 数据规模：大规模（>50万）平行句对，含官方训练/验证/测试划分；句级对齐
• 主要特征：
  • 数据覆盖面广，适合作为预训练或粗粒度预热数据
  • 官方划分清晰，便于快速启动与复现实验
  • 不含朝代/体裁标签；文档级信息较弱
• 适用任务：大规模预训练、数据增强、基线快速搭建
• 获取方式：AI Challenger 数据集页（按平台协议获取）；若官方镜像不可用，可在学术镜像或公开存档平台检索“AI Challenger Ancient-Modern Chinese Translation”（确保遵守原许可）
• 使用建议：
  • 作为数据量“底座”，与 CCMT/NLPCC 合并后用规则/对齐模型做质量筛选（去除异常对齐与过度口语化今译）
  • 建议将其转存为 JSONL，并加入来源字段 source="aichallenger"
  • 对诗词类短句设置更严格的长度与字符集过滤，降低噪声

数据集4：Chinese Text Project（ctext）古籍与现代汉语译文（可构建文档级平行语料）

• 数据来源：Chinese Text Project（https://ctext.org/）
• 数据规模：收录数千部古籍；其中相当一部分附有现代汉语译文与注释（篇章级对齐，可通过句读与分段对齐得到数十万级句对，规模取决于对齐策略与覆盖范围）
• 主要特征：
  • 完整的篇章结构与丰富元数据（作者、朝代、典籍类别/体裁），便于“句/篇双层对齐”
  • 内容采用 CC BY-SA 许可（商业可用但需署名与相同方式共享）
  • 原生提供 API，可编程抓取文本与元数据，易于构造带朝代、体裁标签的 TSV/JSONL
• 适用任务：构建带朝代/体裁标签与文档层对齐的高质子集；补足史书、子书与碑刻等体裁的篇章级语料
• 获取方式：
  • 站点主页：https://ctext.org/
  • API 文档（公开接口）：https://ctext.org/tools/api （按条款使用；遵守 CC BY-SA）
• 使用建议：
  • 以篇章为单位抓取原文与现代译文，通过段落编号/标点恢复进行句级对齐（可用分句+动态规划对齐）
  • 保留元数据：dynasty, genre, work, chapter，满足标签需求
  • 使用术语/典故词表辅助对齐质量检查（如“典故词典”“人名/地名词表”）
  • 对诗词体裁单独处理：以句读与对仗结构为线索，避免过度合并/拆分

数据集5：中文维基文库（zh.wikisource）古籍与白话译文（可构建带许可的平行语料）

• 数据来源：Wikimedia/中文维基文库
• 数据规模：覆盖大量公版古籍；部分条目带白话译文或注译（按作品不同差异较大；可汇聚到数万至十万级句对，取决于收录与对齐）
• 主要特征：
  • CC BY-SA 许可（商业可用，需署名与相同方式共享），法律合规性强
  • 媒体维基结构化元数据，便于提取作者、年代、体裁分类
  • 适合增加碑刻、志书、类书等冷门体裁的覆盖
• 适用任务：补充开源许可严格可控的文档级平行数据；构建可商用链路的数据子集
• 获取方式：
  • 站点：https://zh.wikisource.org/
  • 最新数据转储（XML dump）：https://dumps.wikimedia.org/zhwikisource/latest/（可离线解析提取原文与译文）
• 使用建议：
  • 通过页面结构与模板提取“原文/译文”段落；对齐使用分段+字符相似度+短语锚点
  • 保存页面分类信息映射为体裁；根据作者/书目映射朝代
  • 建议构建质量评分（对齐置信度、句长比、字符集特征），筛选高可信平行句对
  • 与 ctext 数据去重并打标签，形成统一 JSONL/TSV 语料库

总体建议

• 数据组合策略

  • 用 NLPCC 2019 与 CCMT 历年数据作为主评测与主干训练集（研究许可），AI Challenger 作为体量补充；用 ctext 与维基文库构建带“朝代/体裁/篇章”元数据的高质量子集，满足“句/篇双层对齐”和标签需求。
  • 目标规模20万–80万句对：先从大规模竞赛数据中做质量筛选（去重、比率过滤、词表覆盖、对齐得分），再混入来自 ctext/维基文库的高质量、带元数据子集，控制最终规模与分布（体裁均衡）。

• 标注与格式

  • 统一为 JSONL/TSV，字段建议：id, doc_id, sent_id, src_wenyan, tgt_modern, dynasty, genre, work, split, source, align_score, punc_restored(bool)。
  • 朝代与体裁：通过书目信息映射；对竞赛数据可用外部书目表（如 ctext 目录）做弱监督推断。

• 评测与划分

  • 使用官方开发/测试集（NLPCC/CCMT）作为主评测；额外构建体裁分层的验证集（诗、史、碑刻、散文），评估鲁棒性。
  • 若需可商用评测链路，单独从 ctext/维基文库构建 CC BY-SA 评测集。

• 人名地名与典故保留

  • 训练前建立实体/典故词表与同义映射（如通假字表、异体字表）；在解码时加入术语表约束或使用术语覆盖惩罚。
  • 可叠加命名实体/地名词典（开放资源如 CBDB 开放子集、OpenKG 地名图谱等）做后处理校正。

• 倒装、省略、通假字

  • 预训练阶段加入古汉语语法特征任务（虚词恢复、语序判别、通假映射）；微调时混入标点恢复任务。
  • 在数据侧保留高质量标点恢复版本；对无标点原文采用专门的断句模型先行处理。

• 许可与合规

  • 竞赛数据一般限研究用途；如需商用，请优先使用 ctext 与维基文库构建的 CC BY-SA 子集（满足署名与相同方式共享），并与法务确认再分发条款。
  • 合并多源数据时保留来源与许可字段，确保可追溯。

如需，我可以基于上述来源为你输出一份已清洗去重、统一为 JSONL、带朝代/体裁/篇章标签的20万–80万句对样例清单，并提供对齐与过滤脚本。