摘要
古诗文自动评分旨在为诗词与文言短文的质量进行多维度、标准化的评估（如格律合规、用韵与平仄、语义连贯、意境表达等），在教学评估与写作辅助中具有潜在价值。与现代作文评分不同，古典诗文具有强结构约束与高度美学主观性，导致数据标注稀缺、指标体系复杂与模型可解释性要求较高。本报告围绕 Transformer 及其中文预训练变体，提出基于字符级表示与知识增强特征的评分模型框架，涵盖任务建模（回归与序等级分类）、多任务学习与特征融合、解释性分析等。报告进一步设计数据构建与实验评估方案，包括评分维度定义、弱标注与专家标注结合、评价指标（QWK、Spearman、MAE）与基线对比。结果与局限部分以文献趋势与合理的预期分析为主，强调 Transformer 对语义与风格的表征优势、韵律与格律特征的增益作用，以及数据规模、主观偏差与跨体裁泛化的限制。最后提出未来工作方向：扩展高质量标注数据、引入更精细的序等级目标与知识图谱、增强模型可解释性与公平性，并探索人机协同评分模式。本文为课程作业展示用，侧重方法与评估设计的完整性与可复现性。
引言
- 研究背景：古诗文创作与教学评估需要兼顾形式与内容。自动评分有助于提高教学反馈效率、减少评分负担并提供客观参考。然而，古诗文的审美性与规范性并存，形成了评估维度多样且相互关联的复杂任务。
- 学术与应用意义：
- 学术上：为自然语言处理在高主观性文本评估领域提供挑战性场景，推动语义、韵律与形式知识的融合。
- 应用上：服务课堂作业评分与写作辅助；为诗词兴趣社群提供可解释的评分建议与练习反馈。
- 研究难点：标注稀缺与一致性难题、韵律与格律的专业知识建模、短文本的高压缩信息密度与隐喻表达、可解释性与公平性要求。
- 目标与贡献：
- 设计古诗文自动评分的多维评估框架与数据构建流程。
- 基于 Transformer 的方法体系，提出知识增强的特征融合与多任务学习策略。
- 制定可复现的实验评估方案与指标，分析方法优势与局限。
- 提供课堂展示的结构化方案与口头讲解要点。
报告提纲
- 背景与问题定义
- 方法：Transformer 架构与评分建模
- 数据与实验设计
- 结果与局限（基于文献与合理预期）
- 结论与展望
- 参考文献（GB/T 7714）
- 口头展示要点与时间轴
主体内容
一、背景与问题定义
- 任务界定
- 输入：一首古典诗词或文言短文文本（含标题或题旨可选）。
- 输出：多维评分与总体评分，如：
- 格律合规（平仄、对仗、句式长度与结构）
- 用韵与押韵（韵脚、韵部稳定性）
- 语义连贯与主题契合（立意清晰、叙事或抒情连续性）
- 修辞与意境（意象选取、典故运用、情感表达）
- 语言规范与用字（异体字、通假字与时代适配）
- 总体评分（综合权重或加权汇总）
- 评分形式：可采用 1–5 或 1–10 的序等级分；总体评分支持连续值回归。
- 相关工作与差异点
- 自动作文评分（AES）已有成熟指标与模型，但古诗文更强调韵律与格律，文本更短且密度更高。
- 诗歌生成研究常关注可读性与韵律合规；评分任务需要从生成转向评估，强调知识约束与可解释性。
- 评估维度的知识基础
- 格律与平仄：基于古汉语音系（现代拼音作近似，存在误差）。
- 押韵与韵部：词尾韵脚提取与韵部映射。
- 用典与意象：需要词汇资源与知识图谱辅助。
- 主题契合与语义连贯：需语义表示与篇章级一致性建模。
- 模型选型与表示
- 主干模型：中文预训练 Transformer（如 BERT/RoBERTa 类），以字符级输入为主，避免分词对文言词界的不稳定影响。
- 特征增强：
- 韵律特征：基于拼音近似的平仄标注、韵脚提取、韵部一致性计分（规则抽取生成数值特征）。
- 格律结构：句式长度分布、对仗检测（基于字符对齐与相似度）。
- 主题与语义：标题/题旨与正文的语义相似度、主题词分布。
- 用典线索：高频典故词表匹配（弱特征，仅作为提示，不作为硬约束）。
- 特征融合：将规则生成的知识特征与 [CLS] 向量进行拼接，或通过特征门控层（MLP + gating）融合。
- 训练目标与策略
- 多任务学习：对各评分维度进行并行预测（回归头 + 序等级分类头），共享 Transformer 编码器。
- 序等级建模：采用 ordinal regression（如 CORAL 或分段二分类）提升等级一致性。
- 损失函数：加权 MSE（回归）+ 有序交叉熵（分类），权重依据维度重要性与标注可靠性设定。
- 排序一致性：引入 pairwise ranking loss（针对总体评分）以提高相对排序稳定性。
- 解释性与可视化
- 注意力可视化：展示模型对韵脚、对仗词、关键意象的关注程度。
- 特征归因：使用集成梯度/SHAP 解释各特征对最终评分的贡献。
- 训练与推理优化
- 短文本优势：篇幅短可较快训练与推理，适合课堂作业规模。
- 正则化与校准：标签噪声下采用 label smoothing、温度校准与分位数回归提升鲁棒性。
三、数据与实验设计
- 数据构建与来源
- 语料来源：可选用公开版权的古典诗文文本（如开放学术项目或公共领域文本），需核查版权与使用许可。
- 标注方案：
- 弱标注：利用韵律与格律规则自动生成初步评分（仅用于预训练或特征先验，避免过度拟合）。
- 专家标注（建议）：邀请具备诗词基础的标注者依据统一评分细则为小规模样本进行打分；提供标注指南与示例以提升一致性。
- 数据清洗：统一异体字、去除重复、规范标点、保留行结构信息用于格律检测。
- 实验设置
- 划分：训练/验证/测试例如 6:2:2（分层采样，保证体裁与时代分布均衡）。
- 基线方法：
- 规则评分器（韵律与格律规则的线性组合）。
- 传统 ML（SVM/Random Forest）+ 手工特征。
- 序列模型（BiLSTM/GRU）字符级。
- 我方方法：Transformer + 知识特征融合 + 多任务/序等级目标。
- 评价指标
- QWK（Quadratic Weighted Kappa）：衡量与人工评分一致性，适合序等级任务。
- Spearman/Pearson 相关系数：衡量连续总体评分与人工评分的相关性。
- MAE/RMSE：回归误差。
- 可解释性评估：案例研究与标注者反馈问卷。
- 复现性说明
- 代码结构：数据预处理、特征生成、训练与评估模块化。
- 超参数：学习率、batch size、最大长度（例如 128 tokens）、损失权重、早停策略。
- 随机种子与交叉验证：报告稳定性与方差。
- 合法性与伦理：遵守数据版权；不将自动评分作为唯一评判依据；提示模型可能的偏差与局限。
四、结果与局限（基于文献与合理预期）
说明：本课程作业以方法与评估设计为主，以下为基于相关研究趋势与合理分析的预期结果与局限，而非实际测得的数值结论。
- 预期结果与对比
- Transformer 相较于传统 ML 和 RNN 基线，在总体评分相关性与 QWK 指标上具有优势，尤其在语义与主题契合维度表现更稳健。
- 引入韵律与格律知识特征后，格律合规与用韵维度的评分一致性显著提升；对总体评分亦有正向增益。
- 序等级目标（ordinal）优于纯回归在等级边界处的稳定性，减少相邻等级误判。
- 消融分析（预期）
- 去除韵律特征：格律相关维度的指标下降，体现知识融合必要性。
- 去除主题相似特征：主题契合维度相关性下降。
- 仅用弱标注训练：整体性能不稳，提示高质量人工标注的重要性。
- 错误案例与分析（示例性情形）
- 现代口语化诗句在格律上合规但审美较弱，模型可能给出较高“合规”分但总体评分偏高，需通过权重与解释性校正。
- 用典生僻且语境复杂的文本，模型在语义连贯与意境维度易出现低估。
- 局限性
- 数据规模与标注一致性：高质量标注成本高，跨标注者一致性（Kappa）难以保障。
- 音韵近似：以现代拼音近似古音可能引入系统性误差。
- 主观性与公平性：审美偏好与地域/时代差异导致评分偏差；模型可能学习到偏好模式。
- 跨体裁泛化：从律诗到词、赋的迁移效果不确定，需要体裁敏感的特征与模型。
五、结论与展望
- 结论：基于 Transformer 的古诗文自动评分在多维评估框架下具备可行性，语义与风格表征能力与知识特征融合共同提升评估质量。合理的序等级目标与解释性方法有助于提高可信度与教学可用性。
- 展望：
- 扩充高质量专家标注，建立公开小样本基准与评测协议。
- 引入更精细的序等级与不确定性建模（分布式评分、置信区间）。
- 融合知识图谱与格律规则引擎，提升用典与意象识别能力。
- 发展人机协同评分流程（模型初评 + 教师校准 + 解释报告）。
- 探索多模态评估（吟诵音频的韵律特征）与跨体裁适配。
参考文献（GB/T 7714 格式示例）
[1] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. Curran Associates, Inc., 2017: 5998-6008.
[2] Devlin J, Chang M W, Lee K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[EB/OL]. 2018-10-11. arXiv:1810.04805. https://arxiv.org/abs/1810.04805.
[3] Shermis M D, Burstein J. Handbook of Automated Essay Evaluation: Current Applications and New Directions[M]. New York: Routledge, 2013.
口头展示要点与时间轴（建议总时长 10–12 分钟）
- 0:00–0:45 开场与动机
- 0:45–2:00 问题定义与评估维度
- 多维评分框架与输出形式（格律、韵律、语义、意境、总体）
- 2:00–5:00 方法概述（核心）
- Transformer 选型与字符级输入
- 知识增强特征（平仄、韵脚、对仗、主题）
- 多任务与序等级目标；损失函数与校准
- 解释性：注意力与特征归因
- 5:00–7:00 数据与实验设计
- 数据来源与版权合规
- 标注策略（弱标注+专家小样本）
- 基线对比与指标（QWK、相关性、MAE）
- 复现性与超参数管理
- 7:00–9:00 结果与局限（基于文献与预期）
- 关键预期结论与消融效果
- 局限：音韵近似、主观偏差、跨体裁
- 9:00–10:30 结论与展望
- 教学价值与人机协同评分
- 后续工作计划与开放基准建议
- 10:30–12:00 Q&A
附：课堂展示提示
- 以一个示例诗句快速演示韵脚与平仄特征如何被提取与可视化。
- 用一张对比图说明“规则评分器 vs Transformer+知识特征”的差异化关注点。
- 明确声明结果为方法性与预期分析，避免误导性“数据宣称”。
