数据预处理清单

以下预处理步骤面向“工单主题与优先级的统计监测与可视化基线”，覆盖结构化、文本、多语言与时序特性，并兼顾数据质量、隐私与可追溯性。

1. 数据接入与模式校验

• 明确定义模式与类型：ticket_id(string/long)、created_at/closed_at(datetime, ISO 8601)、channel(enum: web/app/phone)、subject/body(string, UTF-8)、tags(array[string])、priority(enum→有序型)、status(enum)、agent_id(string)、customer_tier(enum/string)。
• 编码与规范：统一UTF-8，Unicode标准化(NFKC)，移除不可见控制字符。
• 唯一性与完整性：
  • ticket_id唯一性校验；重复ID就地合并或剔除并记录。
  • 枚举字段值落库校验（channel/priority/status/customer_tier），异常值映射到“UNKNOWN”并上报。
• 时区统一：将created_at/closed_at转为UTC，保留原时区字段（若有）。

2. 时间派生与时序对齐

• 生成时间切片特征：date、week、month、iso_week、hour_of_day、dow。
• 关闭状态与时长：
  • open_flag = closed_at缺失或status非“closed”。
  • resolution_time_hours = (closed_at - created_at) 在closed_at存在时计算；缺失时置NaN并保留open_flag。
• 滚动窗口键：rolling_7d、rolling_28d索引（用于后续基线聚合）。

3. 基础质量筛除与异常标注

• 空主体与垃圾样本：
  • 清洗前body为空或仅含标点/URL/附件占位的记录标注empty_body_flag并剔除出主题统计（可保留用于率的分母策略需一致）。
• 超长文本：
  • 计算字符/词长度分布；设定安全上限（如前P99长度），生成length_bucket；对超长样本保留摘要视图（例如前/后各N字符）和长度特征，避免统计时OOM。
• 重复与近重复：
  • 绝对重复：相同ticket_id或(subject_clean+body_clean相同)的保留一条并聚合计数。
  • 近重复：对正文清洗后文本做指纹（MinHash/SimHash），同一customer_tier或相近时间窗（如72小时）内，相似度≥阈值(如0.9)聚簇并打标near_dup_cluster_id；统计时默认保留首条，聚合“重复量”指标以监测异常。

4. 文本预清洗（保留原文与版本化）

• HTML/Markdown处理：去HTML标签与脚本样式、解码实体、Markdown转纯文本；保留链接占位符，附件/图片用占位符。
• 邮件转发/引用与签名去除：
  • 去除邮件头(From:/To:/Subject:/Sent:等)、转发分隔线(-----Original Message-----/转发:等)、引用块(行首>)。
  • 签名与自动署名识别（基于规则与库，如常见签名触发词、talon/回复解析器）。
• 模板化问候与常见客套：
  • 移除开头/结尾的标准问候与落款（多语言短语词表驱动，保留占位标记/以便后续占比分析可选）。
• 正则标准化：
  • 统一标点、空白与重复字符压缩；表情符号转占位符；URL/路径/代码块保留占位符。
• 电话录音转写常见错词纠正（可选）：
  • 频道=phone时启用特定词典与简单纠错（英语可用SymSpell；中文用定制词典优先于通用拼写纠错，避免过度纠正品牌/SKU）。

5. 隐私与敏感信息去标识

• 用正则/规则检测并替换为类别占位符，保留统计信号而不泄露内容：
  • 手机号/座机：；邮箱：；订单号/物流单号/泛ID（模式+校验位/长度规则）：<ORDER_ID>；IP地址：。
• 可选：对占位前的原值进行不可逆哈希并单独安全存储以用于去重，不回写到分析集。
• 敏感信息覆盖率与剩余泄露率抽样审计。

6. 语言识别与分段

• 基于句级或段级语言检测（fastText/cld3），为中英混排与少量日语提供比例估计：lang_primary、lang_mix_ratio。
• 语言路由：
  • 中文：中文分词（自定义词典注入产品/品牌/常用SKU），全角半角统一，数字与单位标准化。
  • 英文：小写化、词形还原或轻量词干化，保留专有名词大写版本作为别名表可选。
  • 日语：形态学分析（MeCab/fugashi），数量较少可降级为字符n-gram。
• 停用词表按语言应用；对代码混写保留混合token。
• 生成clean_text与tokens字段，并记录token_count。

7. 标签与枚举标准化

• tags数组：
  • 去重、小写化、去空白，统一同义词与别名映射（维护映射表），移除低信息标签（如“web”、“app”若已在channel）。
• priority处理：
  • 规范化为有序型（如 P1>…>P4 或 high>medium>low），建立数值映射priority_num，异常值置NA并打标。
• status标准化：合并近义状态为有限集合（open/pending/solved/closed等）。

8. 缺失值处理

• subject缺失（约8%）：
  • 生成subject_filled：优先用subject_clean，缺失时用body_clean前N字符或关键短语抽取（避免引入噪声，N建议80–120），并打标subject_imputed_flag。
• closed_at缺失（约11%）：
  • open_flag=1，resolution_time置NaN；统计时区分开/已结单。
• 其他字段缺失：生成缺失指示变量，分类变量缺失映射为“UNKNOWN”。

9. 垃圾工单与低质量样本识别

• 规则与启发：
  • body清洗后长度过短且仅占位符/噪声；重复提交且无内容变更；典型垃圾短语/钓鱼模式；极高相似度群发样本。
• 输出spam_flag；默认从主题统计中排除，另行统计“垃圾率”指标以监测异常流量。

10. 特征与派生字段（用于后续统计分组）

• 时间：created_month、created_week、created_dow、created_hour。
• 时长：resolution_time_hours、age_hours（对open票据）。
• 文本密度：char_len、token_len、url_count、pii_count。
• 渠道/层级：channel、customer_tier标准化。
• 主题候选信号（不做建模，仅为统计准备）：
  • normalized_tags（主来源）。
  • 关键短语/高频n-gram（按语言），过滤停用词与占位符。
  • topic_key初稿：若tags包含标准主题映射则用映射，否则用规则词典匹配的主题类别；无法匹配置“OTHER”。规则表版本化，确保统计可复现。

11. 近似重复与聚簇标注产物

• 输出duplicate_flag、near_dup_cluster_id、cluster_rep_id、dup_count，以便统计时按簇去重或加权。
• 记录去重后有效样本数，供基线分母使用。

12. 数据抽样与一致性

• 为可视化与基线固定样本定义：
  • 统计默认口径：非垃圾、非重复代表样本；时间维度按created_at；主题采用topic_key或normalized_tags。
  • 明确是否包含未结单（建议区分展示）。

13. 输出数据表（分析数据集与数据集市）

• tickets_clean（每工单一行）：
  • 关键字段：ticket_id、created_at_utc、closed_at_utc、open_flag、channel、priority/priority_num、status、agent_id、customer_tier、subject_filled、clean_text、lang_primary、lang_mix_ratio、char_len/token_len/url_count/pii_count、duplicate/near-dup/spam标记、topic_key、normalized_tags、resolution_time_hours。
• tokens_or_phrases（可选长表）：
  • ticket_id、token/phrase、tf、lang，用于主题词统计。
• aggregates_ready（可选预聚合）：
  • 按月/周×topic_key×priority的计数、占比、趋势字段，方便可视化直接消费。

14. 质量与审计报告

• 覆盖与变化：
  • 语言分布、去重比例、垃圾比例、PII替换计数、subject填补率、closed_at缺失率、超长文本比例。
• 稳定性检查：
  • 主题映射命中率、标签同义词归一化命中率、每月分布漂移（PSI/JS散度）预警阈值。
• 版本化：
  • 规则表、停用词表、同义词映射、PII正则、语言词典的版本号写入数据集元数据。

实施建议与注意事项

• 工具链：pandas/pyarrow、dateutil/pytz、ftfy、bs4/html2text、regex、langid/fastText/cld3、jieba/spaCy/MeCab、datasketch(simhash/minhash)、talon/邮件回复解析器。
• 占位符策略：统一小写尖括号占位，避免与正文混淆；占位符计数作为特征保留。
• 性能：对近重复采用LSH或指纹分桶；预清洗与分词分批处理；长文本截断仅用于内存安全，统计口径基于完整清洗文本。
• 隐私合规：所有PII在进入分析层前已去标识；严禁将原始PII写入分析输出或可视化层。

上述预处理完成后，即可在一致的样本口径上进行主题与优先级的时序统计与可视化基线构建（按月/周计数、占比、趋势、开放/已结单拆分、渠道与客群切片）。

以下为面向“学科主题分类”与“关键词扩展”建模目标的中文科研论文摘要数据集（约12万篇）的系统化预处理步骤。流程覆盖数据读取、编码与文本规范化、重复与撤稿处理、语言与字段修正、关键词处理、分词与特征准备，以及数据集切分与质量监控。输出遵循结构化、可复现与审计可追踪的原则。

一、数据读取与编码规范化

• 编码检测与统一：
  • 自动检测每条记录的编码（如 chardet/uchardet），统一转为 UTF-8。
  • 去除 BOM、替换不可见控制字符（U+0000-U+001F）、归一化换行符为 “\n”。
  • Unicode 规范化为 NFKC，以消除全角/半角、兼容字符差异。
• 文本修复：
  • 使用 ftfy 或等效工具修复常见乱码、错位字符。
  • 统一空白：折叠多余空格、统一制表符为单空格。
• 中文简繁统一：
  • 使用 OpenCC 将繁体中文统一为简体（或明确采用简体为目标变体）。

二、基础字段与元数据规范化

• paper_id：
  • 统一类型为字符串；检查唯一性。若发现版本号或附加后缀，解析成 version 字段（如 v1/v2）。
• title、abstract：
  • 去除首尾空白；保留大小写（中文不区分，英文维持原状）。
• authors：
  • 标准化为列表：拆分多种分隔符（逗号/分号/空格）、去除职称/单位标注（若混入）。
  • 去除重复作者、统一姓名中的空格与连字符格式。
• published_date：
  • 解析为 ISO 8601（YYYY-MM-DD），记录时区信息为标准化 UTC；异常/缺失标为 null。
• language：
  • 使用高精度语言识别（fastText lid.176 或 CLD3）校正 language 字段，记录置信度；保留 zh/en 双语标签。
• field（学科粗分类）：
  • 建立受控词表（canonical taxonomy），统一同义/别名（如“计算机科学/计算机/信息科学”合并）。
  • 标记噪声：若 field 与抽取的关键词分布或标题词汇不一致（规则或弱监督），打噪声标记 noisy_field=1。

三、文本内容清洗与规范化（重点：LaTeX/引用/OCR）

• LaTeX 公式与命令处理：
  • 数学环境替换为占位符：[MATH]（不删除整体，以保留“数学性”信号）：匹配 $...$、$$...$$、(...)、[...]、\begin{equation/align/...}...\end{...}。
  • 格式命令保留内容、移除命令：如 \textbf{X} -> “X”、\emph{Y} -> “Y”。
  • 引用/标签命令彻底移除：\cite{}、\ref{}、\eqref{}、\label{}、\bibitem{}。
  • 其它纯样式命令（\mathbf、\mathrm、\alpha 等）若在数学环境中一并替换为 [MATH]；若误置于正文，删除命令仅保留字母内容（如 alpha -> “alpha”）。
• 文献引用与参考标号剥离：
  • 删除“文献[1]”、“参见[2,3]”等方括号数字序列（匹配 [\d{1,3}(,\s?\d{1,3}|-\d{1,3})*]），同时可去掉前缀“文献/参考”词语。
  • 删除正文中的引用标号模式如 “[12]”、“[3–5]”，但保留非引用的括号数字（通过前后语境过滤，如含“文献/参见/参考/见”等触发词）。
  • 英文式引用（如“(Smith, 2020)”）：谨慎处理，仅在高置信匹配（作者姓+逗号+4位年份）时移除，避免误删普通括注。
• OCR 误差缓解（轻量规则+黑/白名单）：
  • 常见混淆表：O/0、l/1、rn/m、—/-, 。/., ，/,, 等；结合上下文长度与语言字典进行替换。
  • 连续标点与错位引号统一：全角/半角标点归一，重复标点折叠。
  • 不进行激进纠错，保留专有名词与化学式；对纠错变更计数并记录日志（ocr_fix_count）。
• HTML 与转义处理：
  • 去除 HTML 标签、解码实体（ 、< 等）。
• 特殊前缀清理：
  • 去除“摘要：/Abstract:/关键词：/Key words:”等冗余前缀（若误置于摘要字段）。
• 长度与结构：
  • 记录清洗前后摘要字符数与词/子词数，用于后续建模截断策略；不在预处理阶段截断正文。

四、重复与版本、撤稿处理

• 撤稿标注：
  • 若元数据提供撤稿标记则直接使用；否则基于标题/摘要中的高置信触发词（“撤稿声明/Retraction/撤回”）进行标注 retracted=1。
  • 模型训练默认排除撤稿条目或另置标签以避免污染。
• 重复投稿与版本聚类：
  • 精确重复：title+authors+abstract 完全相同，合并保留最早 published_date。
  • 近似重复/Fuzzy：使用文本指纹（SimHash/MinHash）或句向量（中文/多语 Sentence-BERT）做相似度聚类；设阈值（如 cosine ≥0.95）判定同一稿件不同版本。
  • 在重复簇内选择主版本：优先规则为非撤稿、摘要更完整（长度/无明显乱码）、发布时间较新或包含关键词的版本；标记 cluster_id 与 canonical_id。
  • 防数据泄漏：同簇记录必须分配到同一数据子集（train/val/test）。

五、语言与跨语处理

• 语言一致性：
  • 使用语言识别修正 language 字段；对 zh/en 混合摘要不分割，保留混合文本但记录 lang_mix=1。
• 英文摘要处理策略（二选一，视建模选择）：
  • 方案A（统一中文）：将英文摘要机器翻译为中文（记录翻译来源与置信度），以统一语料；保留原文供审计。
  • 方案B（多语建模）：使用多语模型（mBERT/LaBSE 等）并保留原文，不翻译；对英文文本应用英文小写化、停用词与标点归一化。
• 简体统一已在前述步骤完成。

六、字段（field）清洗与标注稳健化

• 受控词表映射：
  • 将原 field 映射到标准学科集合；保留原始标签与映射后标签（field_raw, field_canonical）。
• 噪声检验与弱监督修正：
  • 使用标题/摘要高频词与已清洗关键词进行投票或规则匹配（如词典命中率、领域特征词）对明显错标进行修正或置为 unknown。
  • 在训练阶段可采用样本加权或温和标签平滑以缓解噪声（预处理阶段仅生成噪声标记与建议修正）。

七、关键词处理与标准化

• 解析与清洗：
  • 使用多分隔符拆分（“,”、“，”、“;”、“；”、“、”），去除首尾空白与重复。
  • 简繁统一、英文小写化、合并同义词（基于受控词表与词典），去除明显非关键词的停用词条。
  • 去除过短且非术语的单字词（保留化学元素/符号等确定术语）。
• 缺失与标记：
  • 标记 keywords_missing（约15%）；不进行监督训练用的直接填补，以避免标签噪声。
  • 可生成无监督候选（TextRank/YAKE/KeyBERT）供后续关键词扩展模型做负/正样本采样或推断参考，单独存储为 keyword_candidates。
• 词表构建：
  • 统计全局关键词频次，建立受控词表（去重、合并别名），为多标签分类或序列标注准备。

八、分词、停用与特征准备（针对不同模型）

• Transformer 类模型（推荐用于主题分类与关键词扩展）：
  • 不进行额外分词，采用预训练模型的子词分词器（中文 RoBERTa/BERT 或多语模型）。
  • 记录最大子词长度分布，后续训练阶段统一 max_seq_len（如 512）；不在预处理阶段截断。
• 传统特征（用于基线或补充）：
  • 中文分词：使用 pkuseg/jieba/THULAC，加入领域词典（来自关键词与高频术语），减少歧义切分。
  • 停用词：使用精炼的中文停用词表，保留领域词与数字/单位；英文文本使用英文停用词与小写化。
  • 构造 TF-IDF/词袋/n-gram（1–2或1–3），并记录字典大小与 OOV 比例。

九、数据集切分与采样策略

• 切分原则：
  • 去重簇一致性：同簇样本在同一子集（防泄漏）。
  • 分层切分：按 field_canonical 与 language 分层，确保代表性。
  • 时间切分（可选）：以最近时间段作为测试集以检验时序泛化。
• 典型比例：训练/验证/测试 ≈ 80/10/10；撤稿样本不进入训练，可进入测试作稳健性检验（标记 retracted=1）。

十、质量监控与审计日志

• 指标记录：
  • 编码修复率、乱码/控制字符清除率、语言识别纠正率。
  • LaTeX 剥离数量（公式占位计数）、引用标号清除计数。
  • OCR 修正计数与类型分布；文本长度变化分布。
  • 重复簇数量、去重比例、版本保留策略统计。
  • field 噪声比例与修正覆盖率；关键词缺失比例与清洗后词表大小。
• 审计与可追踪：
  • 每条记录保留处理轨迹（flags 与 counts），包括 has_math、citation_count、ocr_fix_count、cluster_id、canonical_id、language_confidence、field_mapping_source。
  • 采样人工抽检（每步至少随机抽检1–2%），校正规则或阈值。

十一、输出数据模式（示例字段）

• paper_id、canonical_id、cluster_id、version、title、abstract_clean、has_math、citation_count、ocr_fix_count、authors_clean、published_date_utc、language、language_confidence、lang_mix、field_raw、field_canonical、noisy_field、keywords_clean、keywords_missing、keyword_candidates（可选）、abstract_len_chars、abstract_len_subwords。

备注与边界控制

• 数字与化学/材料式保留（如 “SiO2”、“H2O”、“3D”）；仅删纯引用标号，不做全局数字清除。
• 数学占位符保留有助于主题分类（数学/物理类文本的信号），后续模型可基于 [MATH] 作为特征。
• 英文摘要统一策略需与模型选择一致；若比例“少量英文”，优先采用方案A（翻译统一中文）以简化管线。

该预处理方案旨在最大程度提升文本规范性和标签可靠性，降低重复与噪声对主题分类与关键词扩展模型训练的影响，并确保处理过程可审计与可复现。