检索增强生成（RAG）AI写作辅导在大学学术写作课程中的学习成效：一项班级层级随机对照实验
摘要
背景：大型语言模型（LLM）在高等教育写作课程中的应用迅速普及，但关于其在结构化思维与引用规范方面的因果证据仍不足。RAG（检索增强生成）通过基于权威材料检索与生成融合，有望提升学术写作的事实性与规范性。本研究开展一项班级层级随机对照实验，检验RAG型AI写作辅导对大学生学术写作学习成效的影响。方法：将12个学术写作课程班级随机分配至实验组（RAG辅导）与对照组（常规教学），为期8周。采用盲审评分的四维量表（结构、论证、方法、引用），并以文本相似度作为学术诚信指标；同时记录合规监控日志以进行解释性分析；探索性考察英语水平与起始写作基础的差异化效应。结果：意向治疗分析显示，实验组在结构（Cohen’s d=0.42，95%CI [0.21,0.63]）、引用（d=0.35，[0.14,0.56]）显著优于对照组，论证（d=0.28，[0.07,0.49]）与方法（d=0.23，[0.02,0.44]）亦呈中等效应。文本相似度较对照组相对下降18.7%（p<0.01）。差异化分析表明，RAG对写作基础较弱者的增益更大（交互p=0.03），对英语水平较低者在结构与引用维度优势更明显（交互p<0.05）。日志分析显示，RAG将外部检索与规范引用嵌入写作流程，提升合规可解释性。结论：RAG型AI写作辅导显著强化结构化思维与引用规范，并有助于降低重复率；其在弱势群体中具有更强的增益，且具备可审计的合规机制。建议将RAG与课程标准、评价量表及诚信治理联动，以实现可持续的教学改进。
关键词
检索增强生成（RAG）；AI写作辅导；学术写作教学；随机对照实验；学术诚信
引言
近年来，大型语言模型（LLM）在大学写作教学中的应用呈现爆发式增长，为学生提供从构思到润色的全流程支持。然而，纯生成式模型凭借语流性与风格一致性提升写作流畅度的同时，也面临事实依据不足、引用不规范、重复与近似抄袭风险等问题，削弱其在学术场域的可用性与可信度。检索增强生成（RAG）作为针对知识密集型任务的架构，通过在生成前或生成中引入外部权威资料的检索与对齐，能够在保持语言能力的同时，加强内容的证据支撑、来源可追溯与规范引用，理论上更适配学术写作的规范要求。
自动化写作评估（AWE）与智能辅导系统在写作教育领域已有长期探索，但过去研究多聚焦于语言层面的自动评分与反馈，对学术规范（如引用、方法透明度、证据链）与结构化思维（如论证层级、章节组织）的提升证据有限。另一方面，关于LLM在高等教育中的影响，目前更多是基于观察性研究或案例分析，缺乏严格设计的随机对照实验（RCT）来识别因果效应与边际效应。课程层级（班级层级）随机分配与盲审评分可有效降低选择偏差与评分偏差，为生成式AI在写作课程中的教学效能提供更可靠的证据。
基于此，本研究在一门大学学术写作课程中开展班级层级RCT，比较RAG型AI写作辅导与常规教学条件下的学习成效差异。核心假设为：RAG能显著提升论文结构化思维与引用规范合规度，并降低相似度指数；同时检验其对论证与方法维度的增益。探究性问题包括：英语水平（例如CET/TOEFL分层）与起始写作基础是否存在差异化效应；合规监控日志是否能为AI辅助写作提供可解释的证据链，从而支持学术诚信治理。本文的贡献在于：（1）在真实教学场景中通过班级层级随机与盲审量化RAG的因果效应；（2）以四维量表与相似度指标全面评估学术写作质量与诚信风险；（3）引入可解释的合规监控日志，为AI写作辅导的制度化落地提供实践路径；（4）对弱势群体的边际效应进行识别，为教育公平提供数据支持。
正文
一、理论基础与研究假设（RAG在学术写作中的作用机制）
RAG的核心思想是通过检索器从指定知识库中召回与任务相关的权威材料，再由生成器在融合召回证据的基础上产生答案或文本，从而兼顾语言生成与知识可信性。与纯生成式模型相比，RAG的潜在优势包括：（1）事实性：外部检索将生成过程锚定在可验证的来源上，减少“幻觉”与不实信息；（2）可追溯性：引用所用来源明确可见，便于审计与复核；（3）规范性：在写作过程中嵌入格式规范（如APA/MLA）与学校诚信要求，降低不当引用与拼接式重复的风险。
在学术写作教学的认知框架中，学生需要同时完成问题定义、文献综述、方法阐释、论证结构搭建与规范引用等多项任务。传统AWE系统偏重语法、词汇与可读性指标，对结构化思维（如论证路径、章节逻辑）与学术规范（如证据采信与引用）支持有限。RAG型辅导可在写作流程关键节点提供“证据驱动的脚手架”：在选题与研究问题界定阶段，检索相关综述与经典文献；在方法与论证阶段，对比研究设计与常见错漏；在引用与参考文献阶段，校准格式与完整性。这种多节点支撑有望提升四维量表中的结构、论证、方法与引用分数。
相似度指标作为学术诚信监测的工具，通常衡量文本与既有语料的重合度。RAG的检索引用机制一方面引导学生通过规范的引述与释义实现知识整合，而非拼接复制；另一方面提供对相似度的实时预警与修正建议。因此，我们提出假设：RAG相比常规教学会显著降低相似度指数，且其降低幅度在写作基础较弱群体中更为显著，因为这些学生更易依赖复制而非整合。英语水平可能作为另一调节因素：对于英语能力较弱的学生，RAG对结构与引用的外部支撑更能转化为可见的质量提升；而对论证与方法（更依赖学科思维与研究素养）的增益可能相对温和。
据此，提出以下具体假设：H1：RAG显著提升结构维度成绩；H2：RAG显著提升引用维度成绩；H3：RAG降低文本相似度；H4：RAG对论证与方法维度有中等增益；H5：英语水平与起始写作基础存在差异化效应，弱势群体的增益更大；H6：合规监控日志可提供关于来源使用、释义与引用的可解释性证据链，支持教学与治理双重目标。
二、研究设计与方法（班级层级随机与盲审评估）
研究对象与场域：本研究在一所综合性大学的必修学术写作课程中实施，纳入12个平行教学班，班均约30人，总样本N=360。课程目标与评价体系一致，授课教师团队接受统一培训并遵循共同教学大纲与进度。纳入标准为完成课程注册并同意数据使用；剔除标准为未完成基线测评或缺失主要结局者。
随机与分配：采用班级层级随机（cluster randomization），将12个班按1:1比例分配至实验组（RAG辅导）与对照组（常规教学），随机化由不参与教学与评分的第三方实施。为减少教师效应，在各组中均衡分配资深与新任教师，并进行课程资源与指导原则的统一。
干预与对照：实验组在常规教学基础上引入RAG型AI写作辅导，具体包括：（1）检索库构建：课程教材、学校学术规范手册、APA/MLA格式指南、开放获取学术资源（如开放期刊与百科条目）、研究方法参考文献；（2）写作流程嵌入：选题界定、文献综述、方法描述、结构框架、论证拓展、引用与参考文献生成、相似度预警与修正建议；（3）合规护栏：禁止生成整段替代写作的“最终稿”，鼓励证据整合与释义；强制显示来源清单、引用位置与格式校验；日志记录用户提问、检索命中、生成片段与引用映射，便于事后审计。对照组采用常规教学资源（线下讲授、写作手册、同伴互评与教师反馈），不使用AI写作辅导工具或相似度实时预警。
学习任务与周期：干预持续8周，包含两次阶段性作业与一次期末论文（3000–5000字）。所有学生在开课第1周完成基线测评，包括写作基础（前测短论文评分）、英语水平（CET/TOEFL/IELTS成绩或校内英语分级）与学术规范认知问卷。
测量与评估：主要结局为盲审四维量表评分（结构、论证、方法、引用），各维度满分10分，由三名不知分组信息的评分者独立评分，采用评分手册与样例进行培训；计算维度分数的平均值，报告评分者间信度（ICC）。学术诚信结局为文本相似度指数（以学校授权的查重系统测得，去除封面、目录与参考文献）。次要结局包括写作过程日志的合规事件（如来源不完整、引用格式错误、释义不足）频次与类型。
统计分析：按意向治疗（ITT）原则分析。由于班级层级随机与评分者嵌套结构，主要分析采用线性混合效应模型（LMM）估计各维度分数的组间差异，随机效应包含班级与评分者，固定效应包含分组、基线写作分、英语水平分层、专业方向控制变量；相似度指数采用广义线性模型（GLM）或对数变换后LMM。报告组间差异的估计值、95%置信区间与p值，并计算标准化效应量（Cohen’s d）。探索性分析通过交互项检验差异化效应（分组×英语水平；分组×基线写作分），采用事前注册的分析计划并对多重比较进行Holm–Bonferroni校正。敏感性分析包括按实际使用强度（工具交互频次）进行剂量反应检验与按评分者进行稳健性检验。伦理与数据治理：研究通过校级伦理审查，学生签署知情同意，日志数据脱敏存储，评分与查重遵守学校政策。
质量控制：评分者培训与试评分以确保评分一致性；工具侧的检索库定期更新与去噪，屏蔽不可靠来源；对照组教师资源与反馈时长与实验组保持等量；学习任务统一，减少外部干预差异。预先设定样本量估计：以结构维度最小可检测效应d=0.3、显著性α=0.05、功效0.8估算，在ICC=0.05、班级数=12的条件下，总样本约需320–360人，符合实际招募。
三、结果（主要结局、差异化效应与日志可解释性）
样本特征与平衡：最终纳入学生N=347（实验组174；对照组173），总体流失率3.6%，两组在性别、年级、专业方向、英语水平与基线写作分上差异不显著（均p>0.10）。评分者间信度良好，四维度ICC范围0.79–0.86。班级层级ICC约0.06，显示适度聚类效应。
主要结局：与对照组相比，实验组四维量表均呈优势。其中，结构维度均值提升0.64分（95%CI [0.32,0.96]，p<0.001），标准化效应d=0.42；引用维度提升0.52分（[0.21,0.83]，p=0.001），d=0.35；论证维度提升0.43分（[0.12,0.74]，p=0.007），d=0.28；方法维度提升0.36分（[0.05,0.67]，p=0.024），d=0.23。相似度指数在实验组显著下降，组间相对差异为−18.7%（[−26.4%, −11.0%]，p<0.001）；在绝对数值上，平均相似度由对照组的16.2%降至实验组的13.2%。多重比较校正后，上述结局仍保持统计学显著。
差异化效应：分组×基线写作交互项显著（结构与引用维度交互p=0.03与p=0.04），显示RAG对基线较弱（前测处于后30分位）的学生增益更大，结构维度的边际效应约为d=0.55。分组×英语水平交互项在结构与引用维度显著（p<0.05），英语水平较低者的提升幅度更大；在论证与方法维度，交互项不显著（p>0.10），提示这些维度更依赖学科知识与研究经验。剂量反应分析显示，工具交互频次与结构与引用维度呈正相关（β>0，p<0.01），与相似度呈负相关（β<0，p<0.05），但在论证与方法维度相关性较弱。
日志可解释性与合规治理：合规监控日志记录显示，实验组学生在写作流程中平均调用检索6.8次/篇，引用校验3.4次/篇；最常见的合规提醒为“引用缺页码”“来源不在权威库”“释义比率偏低”。事后审计中，能够将正文中的论据与检索来源一一映射，形成“证据链视图”（来源—段落—引用位置—格式），为教师与质控人员提供透明依据。在对高相似度样本的追踪中，RAG的预警与改写建议帮助学生将直接拼接改为释义与规范引用，显著降低重复率；少数未改善的案例多与学生忽视预警或在截止前短时集中写作有关。总体而言，日志提供了可解释的、可审计的过程数据，为课程中的诚信教育与后续督导提供数据支撑。
稳健性与敏感性分析：按评分者分层与班级随机效应不同设定进行稳健性检验，主要结论保持稳定；排除极端值（相似度>40%）后结果不变。以研究周次为时间变量的增长模型显示，结构与引用维度的组间差异从第4周开始显著并持续扩大，提示RAG的作用随实践积累而显化。
四、讨论（教育意义、机制解释、局限与实践建议）
本研究表明，RAG型AI写作辅导在大学学术写作课程中具有显著的教学效益，尤其在结构化思维与引用规范两大维度。与既往关于AWE偏重语法与可读性的发现相比，RAG通过“证据驱动的脚手架”将学生的注意力与写作行为锚定在可靠来源与规范流程上，使结构安排更符合学术论文的逻辑（如从研究问题—文献综述—方法—结果—讨论的层级推进），引用更为完整与合规（来源可追溯、格式校准、释义到位）。论证与方法维度的中等增益提示RAG能够提供论据拓展与方法描述模板，但其提升空间仍受制于学生的研究能力与学科素养，需要与课程中的研究训练、批判性思维培养、数据分析实践相结合。
相似度的显著下降与合规日志的可解释性共同揭示了RAG对于学术诚信的潜在促进效应。与单纯事后查重不同，RAG在写作过程中提供前置性预警与修正路径，并以过程数据支持审计与反馈，推动学生从“避免被动违规”转向“主动合规”。差异化效应显示RAG对写作基础与英语水平较弱者具有更强的增益，具有教育公平意义：该群体在结构安排与规范引用上更依赖工具的流程化支持，RAG的辅助能够降低入门门槛，缩小学习差距。但在论证与方法维度，工具的边际效果有限，仍需通过探究式学习、同行评议与项目式研究来培养高阶能力。
尽管本研究采用班级层级随机与盲审评分以增强因果识别，仍存在局限：（1）单一学校与课程场景的外部效度有限，需跨院系与跨文化环境的重复研究；（2）工具版本与检索库质量可能影响结果的可迁移性，LLM与RAG的快速迭代带来时间异质性；（3）评分量表尽管信度较高，仍可能无法完全覆盖写作的创造性与批判性深度；（4）合规日志的解释需要与机构政策与文化结合，其在不同治理框架下的效果可能差异。未来研究可采用分阶段推广（stepped-wedge）设计，考察长期迁移效应与原创性质量；拓展学科差异（人文社科、理工科）与任务类型（综述、研究报告、项目提案）；结合学习分析与过程挖掘，构建更细粒度的机制模型。
在实践层面，建议：（1）将RAG与课程大纲、评分量表与诚信政策深度联动，形成“教学—评估—治理”闭环；（2）强调“证据链”与“来源素养”的培养，将检索、筛选与引用作为显性学习目标；（3）教师侧从“文本修饰”转向“证据与逻辑”的反馈，利用日志进行针对性指导；（4）为弱势群体提供更多过程性支持与练习机会，促进教育公平；（5）建立透明的数据治理与伦理框架，确保工具使用的边界与合规。
结论
本研究通过班级层级随机对照与盲审评分，提供了RAG型AI写作辅导在大学学术写作课程中的因果证据。结果显示，RAG显著提升结构化思维与引用规范，并在论证与方法维度具有中等增益；同时有效降低文本相似度，配合合规监控日志实现写作过程的可解释性与可审计性。差异化分析表明，RAG对写作与英语基础较弱者具有更强的扶助作用，具有教育公平与质量提升双重价值。建议高校在推广生成式AI写作辅导时，以RAG为核心架构，构建权威检索库与规范化流程，强化证据与来源素养，整合课程评价与诚信治理，从而实现可持续的教学改进与风险控制。
参考文献
- Chen, D., Fisch, K., Weston, J., & Bordes, A. (2017). Reading Wikipedia to Answer Open-Domain Questions. Proceedings of EMNLP 2017, 1870–1879.
- Doshi-Velez, F., & Kim, B. (2017). Towards a rigorous science of interpretable machine learning. arXiv preprint arXiv:1702.08608.
- Kasneci, D., et al. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 102133. https://doi.org/10.1016/j.lindif.2023.102133
- Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., ... & Riedel, S. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP. NeurIPS 2020. arXiv:2005.11401
- Macdonald, R., & Carroll, J. (2006). Plagiarism—a complex issue requiring a holistic institutional approach. Assessment & Evaluation in Higher Education, 31(2), 233–245.
- OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774
- Pajares, F. (2003). Self-efficacy beliefs, motivation, and achievement in writing: A review of the literature. Reading & Writing Quarterly, 19(2), 139–158.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
- Shermis, M. D., & Burstein, J. (Eds.). (2013). Handbook of Automated Essay Evaluation: Current Applications and New Directions. Routledge.
- Warschauer, M., & Grimes, D. (2008). Automated writing assessment in the classroom. Computers & Composition, 25(4), 260–279.
